Segurança de agentes e injeção de instruções
Um agente combina um modelo com ferramentas e um ciclo de decisão. Texto vindo de páginas, mensagens ou documentos pode conter instruções maliciosas, conhecidas como injeção de instruções. Esse conteúdo deve ser tratado como dados não fiáveis, não como autorização para agir.
Os controlos de segurança devem existir fora do modelo: autenticação, autorização, validação de parâmetros, ferramentas restritas e confirmação para efeitos sensíveis. Separe dados e segredos, restrinja destinos de rede quando necessário e mantenha registos proporcionais. Um pedido ao modelo para “ignorar ataques” não é uma fronteira de segurança suficiente.
Um documento recuperado que peça para enviar a base de clientes para outro endereço não altera as permissões do assistente. A aplicação deve bloquear o acesso e o envio, independentemente do texto gerado.
O modelo pode propor uma ação; a aplicação tem de verificar se ela é permitida.
Experimente na prática
Faça uma revisão de arquitetura: desenhe dados e fronteiras de confiança, enumere permissões e efeitos externos, proponha testes adversariais e defina monitorização, responsáveis, reversão e resposta a um incidente. Peça revisão independente.