Rúbricas con IA para evaluación de proyectos: qué funciona y qué no

El problema con la IA genérica en evaluación

Cuando se lanzaron los LLMs generales como herramienta de evaluación de proyectos, muchas agencias y aceleradoras probaron reemplazar evaluadores humanos con prompts directos: "evalúa este proyecto según estos criterios y dame un puntaje". Los resultados fueron predeciblemente mediocres.

El problema no era la IA; era el contexto. Un LLM sin contexto del programa, sin rúbrica codificada, sin historia de decisiones previas, responde con criterios genéricos que promedian el sentido común global. Eso no es evaluación técnica: es una opinión superficial.

Qué sí funciona: IA contextualizada con rúbricas codificadas

La combinación que produce resultados es distinta. No es "pregúntale a la IA que evalúe". Es:

1. Rúbrica codificada del cliente — tus criterios, tus dimensiones, tus pesos, expresados en términos operativos. 2. Contexto del programa — qué busca este fondo, a qué tipo de proyectos apunta, qué ha funcionado antes. 3. Acceso a la postulación completa — documentos adjuntos, no solo el resumen. 4. Evidencia recuperable (RAG) — cuando la IA dice "este proyecto tiene fortaleza en validación comercial", debe poder citar la página exacta del documento donde lo ve. 5. Justificación textual por dimensión — no solo un puntaje, un párrafo que explica el puntaje. 6. Revisión humana obligatoria — la IA no decide; pre-evalúa para que el humano se concentre en los casos de frontera.

Cuando estos seis elementos están, la evaluación con IA pasa de ser un experimento dudoso a ser un multiplicador real.

Qué cambia concretamente

Tiempo

Un comité de 6 evaluadores humanos evaluando 400 postulaciones con rúbrica de 8 dimensiones toma 3-4 semanas full-time. Con pre-evaluación IA bien configurada, la ronda inicial se produce en 48 horas, y el equipo humano se concentra en los ~100 proyectos del borderland en 5-7 días.

Consistencia

La variabilidad inter-evaluador en rúbricas complejas es dolorosa: dos evaluadores leyendo la misma postulación pueden dar puntajes muy distintos. La IA aplicada con rúbrica codificada no tiene ese problema: es consistente entre proyectos. Esto no significa que siempre acierte; significa que cuando se equivoca, se equivoca de forma predecible.

Trazabilidad

Cada score tiene una justificación textual con referencias a la postulación. Si un postulante pregunta "¿por qué me pusieron 6 en solidez técnica?", la respuesta está lista: "Porque la postulación menciona X en la página 4 pero no presenta evidencia de Y ni Z". Eso no se podía hacer cuando las evaluaciones se resumían en una grilla numérica.

Qué NO funciona

Después de implementar esto en múltiples contextos, algunas lecciones duras:

No funciona sin rúbrica clara

Si la rúbrica está mal escrita o es genérica, la IA amplifica la ambigüedad. No ayuda a construir la rúbrica desde cero; requiere que el comité tenga claridad técnica previa sobre qué busca.

No funciona para evaluar originalidad o creatividad profunda

La IA puede detectar ausencias y presencias de elementos predefinidos; no puede detectar cuando un proyecto cambia las reglas del juego. Para evaluar "qué tan disruptivo es esto", el humano sigue siendo insustituible.

No funciona para cerrar decisiones

La decisión final en cualquier proceso serio debe ser humana, colegiada y formalizada. La IA pre-ranquea; el comité decide y firma. Eso no es una concesión: es lo correcto. Cuando se salta esa capa, los postulantes pierden confianza en el proceso y con razón.

La arquitectura que funciona en producción

En fondos concursables grandes hemos visto converger a un patrón estable:

• Pre-evaluación IA de toda la bolsa (N=400+) con rúbrica codificada, en 48h.
• Corte técnico automático por umbrales (mínimos inalcanzables que descartan sin revisión humana).
• Revisión humana del top 30% con capacidad de ajustar scores y dejar comentario.
• Comité de decisión final sobre la lista corta (ej. 40-60 proyectos), con votación formalizada.
• Evidencia auditable completa desde la postulación original hasta la decisión firmada.

Este patrón reduce tiempo 60-70% comparado con el proceso tradicional manteniendo (o mejorando) la calidad técnica y superando la trazabilidad.

Cuándo no usar IA en evaluación

Hay contextos donde pre-evaluación IA es innecesaria y hasta contraproducente:

• Convocatorias con menos de 30 postulaciones (el overhead de configurar supera la ganancia).
• Programas donde la evaluación es altamente relacional (conversaciones 1-a-1 con postulantes, pitch en vivo).
• Procesos donde la rúbrica es deliberadamente subjetiva o en construcción.

En todo el resto, bien implementada, la IA con rúbricas codificadas cambia el cálculo: más proyectos, más profundidad de análisis, más trazabilidad, mismo equipo humano.