O método eval

#As quatro peças móveis

1. Um golden set — entradas reais pareadas com saídas combinadas como corretas, versionado junto ao código. Esta é a fonte da verdade.
2. Um juiz — um modelo de avaliação (ou uma verificação determinística) que pontua cada saída quanto à fidelidade, relevância e segurança.
3. Sondas de segurança — entradas adversariais que tentam quebrar a funcionalidade da forma como um usuário real ou um invasor faria.
4. Um CI gate — a suíte roda a cada mudança; uma pontuação abaixo do piso mínimo, que só sobe, bloqueia o merge.

#Os princípios

• Calculado, não afirmado. Uma pontuação vem de um comando que qualquer pessoa pode executar novamente — nunca de uma opinião.
• Que suba, não que apenas passe. O piso só pode subir, para que a qualidade não se corroa silenciosamente com o tempo.
• Reduza a revisão humana com evidências. Comece com um humano no circuito; remova pontos de aprovação somente quando os evals provarem que é seguro.
• Nada de verde falso. Se o gate deveria estar vermelho, ele fica vermelho — publicamente. (O próprio placar deste site funciona da mesma forma.)