Aperte executar. Um mecanismo automatizado dispara sondas contra um assistente de IA de demonstração — injeção de prompt, alucinação, vazamento de PII, escopo — e um juiz pontua cada resposta ao vivo. Essa é exatamente a disciplina que eu integro no seu CI para que uma mudança ruim de IA pare no portão, não em produção.
Nota sincera: o alvo é um assistente de demonstração propositalmente ingênuo, então suas falhas são um comportamento real e reproduzível do modelo — mostrado para demonstrar o método, não para avaliar uma empresa real. Um projeto real aponta esse mesmo motor para sua funcionalidade em produção, roda centenas de sondas e integra o portão no seu CI. Uma auditoria curta mapeia toda a sua superfície de falhas — escopada e orçada após uma conversa rápida.