Avaliar qualidade para além de um exemplo feliz
Construa casos de teste com entradas, resultados esperados ou critérios de avaliação. Separe exemplos usados no desenvolvimento de um conjunto reservado para testar alterações. Inclua casos normais, limites, informação em falta e entradas adversariais.
Em classificação, precisão e cobertura medem aspetos diferentes; erros positivos e negativos podem ter custos diferentes. Em recuperação, métricas como recall@k avaliam se a informação relevante foi encontrada. Em geração, combine verificações de fontes, regras e revisão humana. Um avaliador baseado em IA também precisa de validação.
Uma nova versão pode melhorar a média e piorar os pedidos urgentes. Compare os resultados por cenário, reveja divergências humanas e preserve os casos que revelaram regressões.
Uma avaliação útil aproxima-se das decisões e riscos reais da utilização.
Experimente na prática
Desenhe dez casos de avaliação para um assistente documental: inclua uma resposta presente, uma ausente, fontes contraditórias, um documento desatualizado e um documento sem autorização. Defina como distinguir cada tipo de falha.