RAG, embeddings e ajuste de modelos
RAG combina recuperação de informação com geração: procura documentos ou excertos e fornece-os ao modelo como contexto. Embeddings representam informação em vetores para apoiar pesquisas por semelhança. A pesquisa também pode combinar palavras-chave, filtros e reordenação de resultados.
A qualidade depende da preparação dos documentos, da recuperação, das permissões e da forma como as respostas usam as fontes. RAG não elimina alucinações nem torna documentos automaticamente seguros. O ajuste de um modelo altera o seu comportamento com exemplos; não é equivalente a manter uma base documental atualizada.
Num assistente interno, filtre os documentos pelos acessos da pessoa antes de os entregar ao modelo. Depois, teste se a resposta se apoia em passagens corretas e admite quando não encontra informação suficiente.
Separe falhas de recuperação, falhas de geração e falhas de autorização.
Experimente na prática
Desenhe dez casos de avaliação para um assistente documental: inclua uma resposta presente, uma ausente, fontes contraditórias, um documento desatualizado e um documento sem autorização. Defina como distinguir cada tipo de falha.