Enviesamento, representatividade e contexto
Os dados podem refletir desigualdades, omissões ou uma realidade diferente daquela em que o sistema vai ser utilizado. Um bom resultado médio pode esconder falhas num idioma, num grupo ou num tipo de caso. É necessário observar quem fica mal representado.
Defina o que seria um erro relevante e compare resultados por cenários pertinentes, respeitando a privacidade. A avaliação deve incluir pessoas com conhecimento do contexto. Nenhuma métrica isolada demonstra justiça, adequação ou ausência de discriminação.
Um classificador de pedidos pode funcionar bem em mensagens formais e falhar em português informal. Separe estes casos na avaliação antes de o disponibilizar à equipa.
Pergunte sempre: funciona para quem, em que situação e com que consequências?
Experimente na prática
Escolha uma resposta com três afirmações factuais. Classifique cada uma como confirmada, incorreta ou por verificar. Registe uma fonte primária e uma limitação. Explique o impacto de publicar a resposta sem revisão.