Yo lanzo funciones de IA. Luego demuestro que funcionan.

Nadie quiere conversar con su propia cola de feedback. El valor es determinista: clasificar, resumir, enrutar, alertar. Una interfaz de chat añadiría latencia y eliminaría la auditabilidad.

Escenario de Make, cuatro pasos de principio a fin (ver fig. 1). Cada paso puede reejecutarse de forma aislada.

No se necesita ninguna. Cada mensaje se clasifica de forma independiente. Evitado deliberadamente: la ausencia de estado mantiene el pipeline depurable.

La IA nunca responde a un cliente. Enruta a un humano con un resumen; el correo de alerta es el traspaso. No resuelve nada por sí sola.

Esquema de salida estructurada en el paso del LLM, etiqueta de respaldo ante fallos de parseo, y el mensaje original siempre registrado junto con la clasificación.

Un conjunto dorado de mensajes etiquetados ejecutado cada noche a través de Promptfoo para detectar desviaciones de clasificación cuando cambia la versión del modelo.

Un wrapper de chat sobre el corpus era la construcción obvia. La necesidad real era un dashboard operativo: fuentes, trabajos de ingesta, ejecuciones de evaluación y feedback, todo inspeccionable. El Q&A es solo una función dentro de él.

API en FastAPI + proceso de ingesta duradero que alimenta la fig. 1; un gateway de proveedores intercambia embeddings deterministas locales por Gemini según el entorno. Dashboard en React por encima.

Consultas, respuestas y citas persistidas. Eliminar una fuente se propaga en cascada: fragmentos, embeddings, trabajos, payloads, citas. Sin memoria huérfana.

Un endpoint de feedback a nivel de respuesta alimenta un ciclo de revisión; las ejecuciones de evaluación se disparan y persisten vía API para que un humano dé el visto bueno antes de lanzar cambios de proveedor o de umbral.

Respuestas solo extractivas (citar o abstenerse), registro de auditoría completo sobre eventos de fuente/consulta/evaluación/feedback, proveedores locales deterministas para desarrollo reproducible, respaldo de Gemini a local cuando faltan claves.

Convertir los umbrales de evaluación en barreras de despliegue para que una regresión de recuperación bloquee el lanzamiento antes de que llegue a la retro.

Un "asistente de QA con IA" que opina sobre la calidad es exactamente el modo de falla. El veredicto debe ser calculado por código a partir de los códigos de salida de los comandos. Aquí, un LLM nunca califica su propia tarea.

Un solo CLI que impulsa la fig. 1: cada runner es un plugin (detect → plan → run → collectEvidence); un runner colgado no puede detener toda una ejecución. Dos barreras: pre-commit de <15ms, barrera de merge de repositorio completo.

Un libro de evidencia en lugar de memoria: el comando exacto, el código de salida y la métrica interpretada de cada ejecución se registran en un libro de pruebas, reverificable sin conexión.

El ciclo de corrección autónomo está acotado. Solo corrige lo que el harness puede verificar, hace commit ante una mejora, revierte ante una regresión y se detiene ante un estancamiento honesto para revisión humana.

Contrato anti-alucinación: ninguna puntuación sin una evidencia que la respalde. Pisos de cobertura crecientes, disciplina de omisión honesta, evidencia redactada y firmada con ed25519.

Diez runners dedicados a la seguridad de IA: sesgo, consistencia, alucinación, jailbreak, inyección de prompts, rechazo, toxicidad, fuga de PII, costo, latencia. Ese es el harness que aporto a las funciones de LLM de mis clientes.