Cuatro sistemas. Cuatro resultados medibles. Todos enlazan al comprobante.

Una plataforma de calidad solo es confiable si puede fallar. En una ejecución real, el gate de auditoría de dependencias encontró 15 CVEs de alta/crítica severidad. El veredicto honesto fue no apto para lanzamiento, no una insignia verde.

• Dejé que el gate se pusiera en rojo y publiqué la ejecución textual: sin anulación silenciosa
• Corregí la desviación en la fuente: 9 pisos de seguridad fijados, eliminando la cadena transitiva no parcheable
• Volví a ejecutar la batería completa: 85 runners incl. 10 evaluaciones de seguridad de LLM

3,759 pruebas · 91% de cobertura · 13/13 gates. CVEs de alta/crítica severidad: 15 → 0. Todo el arco de detectado→bloqueado→parcheado→comprobado está en el sitio, ambas capturas incluidas.

La mayoría de las suites son una sopa de scripts: la cobertura sigue a quien escribió pruebas por última vez, el rojo se ignora porque es intermitente, y cada fallo inicia una cacería de capturas de pantalla.

• Modelo de riesgo → matriz de cobertura, para que la cobertura siga el riesgo del lanzamiento
• Page Object Model, fixtures, traza en reintento, cuatro reporteros
• Conectado a CI con retención de artefactos, una insignia verde que significa algo

37/37 specs, cero fallos intermitentes, 15.3s. La carpeta de evidencia — trazas y capturas de pantalla — se envía en el repositorio público. Clónalo y reproduce la ejecución.

La mayoría de las demos de RAG alucinan con confianza. Se afirma "fundamentado" en el prompt y se viola silenciosamente en producción la primera vez que la recuperación regresa escasa.

• Construí la recuperación para que cada respuesta esté vinculada a fragmentos clasificados y seleccionados
• Eliminé por completo la ruta de generación sin cita: se abstiene cuando no hay evidencia
• Registré calidad, seguridad, latencia y costo por consulta en un endpoint de analítica

100% de cobertura de citas, por construcción. Verificado en vivo. Lo ejecuté, hice una pregunta real, y capturé la respuesta citada real (captura de pantalla en la página principal).

Una suite intermitente es peor que ninguna: cuando el rojo es ruido, el equipo aprende a ignorarlo, y la regresión real pasa junto con las falsas alarmas.

• Diagnostiqué las fuentes de los fallos intermitentes: estado compartido, tiempos, orden
• Instalé un protocolo de fallos intermitentes: carril de cuarentena, política de reintento, correcciones de aislamiento
• Mantuve la suite existente y traté la reconstrucción como último recurso

Tasa de fallos intermitentes 10% → menos del 1%. El rojo volvió a ser una señal real, sostenido con la misma disciplina de nivel Fortune-50 detrás de una infraestructura de 500+ pruebas al inicio de mi carrera.