Tokens, contexto e parâmetros de geração
Tokens são unidades usadas para representar texto; não correspondem sempre a palavras inteiras. A janela de contexto limita a informação processada numa interação. Um contexto maior não garante atenção uniforme a todos os detalhes nem melhor resposta.
Parâmetros como temperatura influenciam a amostragem quando estão disponíveis. Uma temperatura baixa não garante verdade nem resultados perfeitamente determinísticos. Registe modelo, versão, pedido, fontes e definições ao comparar experiências. Considere latência, limites de utilização e custo total.
Ao analisar um documento extenso, compare uma abordagem por secções com o envio integral. Verifique se os pontos relevantes são encontrados e corretamente relacionados, incluindo os que surgem no meio do texto.
Mais contexto e mais geração podem aumentar custos sem resolver o problema de qualidade.
Experimente na prática
Desenhe dez casos de avaliação para um assistente documental: inclua uma resposta presente, uma ausente, fontes contraditórias, um documento desatualizado e um documento sem autorização. Defina como distinguir cada tipo de falha.