Construcción, gobierno y pruebas de una Oficina GPT para selección

El equipo buscaba aumentar productividad y reducir tareas repetitivas en el área de selección. La idea inicial era sencilla: automatizar procesos como el análisis de CVs, la documentación tras entrevistas, el procesamiento de peticiones y el matching entre candidatos y vacantes.

Los primeros prototipos fueron muy eficaces: los modelos generaban JSONs perfectos para el ATS, automatizaban análisis y recuperaban candidatos olvidados por el equipo humano.

Contexto

👉🏻 Proliferación de prompts usados por cada recruiter sin control de versiones.

👉🏻 Falta de fiabilidad en plataformas como ChatGPT, Claude o Google ADK.

👉🏻 Errores difíciles de reproducir, pérdida de scripts y regresión a procesos manuales.

👉🏻 Uso real de los sistemas: solo el 30% donde realmente serían útiles.

El Reto

Conforme crecieron los usos, aparecieron los problemas:

Era evidente que el reto no era “crear buenos prompts”, sino industrializar su uso.

a) Gobierno y control

Inventario completo de procesos, prompts, scripts y modelos utilizados.
Repositorios centralizados con control de versiones en GitHub.
Documentación y trazabilidad de cambios.

La solución con novanot-IA

b) Pruebas automatizadas y control de calidad

Uso avanzado de Promptfoo extendido con scripts propios.
Validación de JSONs, detección de inferencias incorrectas y medición de consistencia.
Evaluación estadística de estabilidad (múltiples ejecuciones por prueba).
Exploración de modelos “juez” que validan salidas de otros modelos.

c) Seguridad y fiabilidad

Nuevos tests de ciberseguridad para detectar prompt injections en CVs o solicitudes.
Identificación de riesgos reales de manipulación, exfiltración o alteración del pipeline.
Bases para un despliegue controlado y medible.

A partir del diagnóstico, se diseñó una arquitectura robusta basada en: