examen sellado · datos públicos
Casar dos listas del mismo dinero,
sin la clave que las une
En construcción · la página se está armando; los números ya son los del examen
Conciliar es casar dos listas que hablan del mismo dinero pero no se citan bien: los pagos que salieron de la cuenta, por un lado, y los contratos u obligaciones que los justifican, por otro. En una empresa es el extracto del banco contra el libro mayor; en una administración, los pagos ejecutados contra los contratos adjudicados. Cuando la referencia cuadra, es un trámite. Cuando falta o está mal escrita, alguien se pasa la tarde persiguiendo a qué corresponde cada apunte. Quien haya cuadrado una cuenta a fin de mes conoce ese trabajo.
En las otras demos sellamos una predicción antes de conocer el futuro y esperamos a que el futuro nos dé o nos quite la razón. Aquí el dato ya existe: el pago y su contrato vienen unidos de fábrica por una clave oficial. Así que cambiamos la trampa. En vez de taparle el futuro, le tapamos la clave: escondemos el identificador de contrato que ya los une y le pedimos al motor que reconstruya el enlace sin él, sólo con lo que quedaría en un caso real, el importe, las fechas y el nombre del proveedor. La clave tapada es un identificador público e incuestionable, así que el examen queda a prueba de críticas: cualquiera puede descargar los mismos datos y repetirlo.
El veredicto, por delante: según el criterio que sellamos antes de mirar nada, el motor no gana. Brilla donde el pago iguala a lo obligado del año, con un 96,2% de acierto, y se queda corto en los pagos parciales, que eran tres de cada cuatro. Abajo está la historia entera, con sus números.
Cada punto del mar es uno de los 12.649 pagos del examen, con su color real. Los puntos más grandes y anillados son casos concretos: púlsalos para ver por qué el motor casó o falló ese pago.
Resultado del examen, en cifras
Sobre 12.649 pagos atables: la heurística por importe y fecha decide 1.871 con un 99,2% de acierto; el modelo de lenguaje decide 3.262 con un 26,6% de acierto; el motor se abstiene en 7.515 pagos, el 59,4%. La coincidencia exacta de referencia decide 0 por construcción, porque la clave está tapada.
El veredicto, y por qué esto no es ganar
Antes de correr el motor sobre el corpus, sellamos la condición de éxito y la anclamos con marca de tiempo. Ganar eran dos cosas a la vez: recuperar más pagos que tres reglas simples de referencia (más cobertura) y equivocarse menos que la mejor de ellas (precisión no peor). El motor cumple la primera por un pelo, recupera el 21,5% frente al 20,7% de la mejor regla simple, y falla la segunda: acierta el 53,1% de lo que decide, frente al 100% que saca la regla más tonta de todas (si un proveedor tiene un solo contrato, el pago es de ese). Con cualquier lectura razonable de «la mejor regla», la precisión del motor se queda corta. Empate o derrota se publican con ese nombre, y esto es derrota.
Que salga así es lo que sostiene la credibilidad: es el tipo de resultado que sólo aparece cuando el examen se sella antes de correrlo y no se retoca después. Lo bueno también está medido, y es contundente. La causa cabe en una frase: el examen vivía en los pagos parciales, y ahí el trabajo recae en un modelo de lenguaje local pequeño que acierta uno de cada cuatro.
De cada emparejamiento, quién ata cada uno
El motor no es una caja negra: es una cascada de capas que se prueban por orden, de la más segura a la más arriesgada. Primero la coincidencia exacta de la referencia; luego el importe y la fecha; luego el modelo de lenguaje sobre la descripción del contrato. Tapar la clave apaga la primera capa por completo, y no es un fallo, es el diseño del examen: la referencia que ataba pago y contrato es justo lo que escondimos. El peso cae entero sobre dos capas, y se reparten el trabajo de forma muy desigual.
Cero por construcción: la referencia está tapada, así que la capa que ata por ella no puede opinar. Es lo que hace comprensible el examen.
Cuando el pago iguala a lo obligado, casar por importe y fecha casi no falla. Es el trabajo para el que el motor está pensado, y lo hace con la clave oficial tapada.
Donde se paga sólo una fracción de un contrato de varios años, el importe deja de anclar y la única capa que puede opinar es el modelo de lenguaje local, de 7.000 millones de parámetros y coste cero. Acierta uno de cada cuatro: aquí es donde el motor cede, y es el margen que mide la siguiente entrega.
Cómo leer las barras: cada una es la precisión de esa capa, cuántas de sus decisiones fueron correctas. La barra de la referencia exacta va en cero a propósito. La memoria de conciliaciones previas y la suma de parciales también dan cero aquí, la primera porque no hay histórico de este caso en datos públicos, la segunda porque los plazos que sumarían el total se pagan en años que no están en el corpus.
Las cuatro variantes selladas
El examen se corrió cuatro veces, cruzando dos ejes: el nombre del proveedor limpio o tal como se tecleó, y su identificador oculto o visible. El caso que enseñamos es el difícil realista, sin identificador y con nombre limpio. La abstención es el porcentaje de pagos en los que el motor dice «no lo sé» en vez de forzar una pareja.
| Variante | Precisión | Cobertura | Abstención |
|---|---|---|---|
| Sin identificador, nombre limpio (el caso que enseñamos) | 53,1% | 21,5% | 59,4% |
| Sin identificador, nombre crudo | 52,6% | 21,4% | 59,4% |
| Con identificador, nombre limpio | 54,2% | 21,6% | 60,1% |
| Con identificador, nombre crudo | 53,1% | 21,5% | 59,5% |
Las cuatro caben en poco más de punto y medio de precisión. Que apenas se muevan es en sí un resultado: ni limpiar el nombre ni mostrar el identificador cambian la aguja, porque quien hace el trabajo pesado es el importe, que no mira el nombre, y el cuello de botella no es separar proveedores parecidos sino distinguir entre los muchos contratos de un mismo proveedor.
Los tres regímenes, por separado
Mezclar los tres esconde que unos son mucho más fáciles que otros. El pre-registro pidió separarlos, y aquí está por qué importaba: el examen vivía en la fila de en medio.
| Régimen | Pagos | Decide | Precisión | Cobertura |
|---|---|---|---|---|
| El pago cuadra 1:1 con la obligación | 2.783 | 2.443 | 96,2% | 84,4% |
| Parciales y plurianuales | 9.739 | 2.667 | 14,0% | 3,8% |
| Correcciones negativas | 127 | 24 | 4,2% | 0,8% |
Los parciales son 9.739 de los 12.649 pagos atables, casi el 77%. Ahí el importe deja de anclar el pago a su contrato, el peso pasa al texto, y ahí es donde el motor cede. Si el corpus fuese sólo pagos que cuadran 1:1, este informe sería una victoria holgada: el motor los ata con un 96,2% de precisión y recupera el 84,4%, con la clave tapada.
Cuatro fallos, con su historia
No son casos elegidos para lucir: son los arquetipos que el pre-registro anticipó, sacados de los ficheros de resultados con sus números reales. Comparten una misma raíz: la cercanía de importe es una pista traicionera cuando un proveedor concentra cientos de contratos con cifras que se solapan.
La colisión de proveedor
pago P000000077 · Caltech / Jet Propulsion Laboratory
El instituto que opera el laboratorio de propulsión de la NASA tiene 1.762 contratos candidatos, casi todos con la misma etiqueta de investigación espacial. El pago desembolsó 3.105.898 dólares; el motor eligió, con confianza 0,95, un contrato cuya obligación era 3.114.736, calcada al importe. El verdadero era otro, de 14,2 millones. Eligió por cercanía de importe entre casi dos mil contratos idénticos en apariencia, y se equivocó. Sólo en este proveedor comete 392 fallos.
El parcial mal atado
pago P000000242 · Lead Builders Inc
Un parcial de 48.447 dólares, apenas el 1% de un contrato grande. Sólo tenía 14 candidatos y aun así falló: propuso un contrato de obras de 4,02 millones («reducir el riesgo de arco eléctrico») cuando el verdadero era otro de 4,20 millones («sustitución de enfriadora»). Como el pago es una fracción diminuta, el importe no distingue cuál, y el modelo de lenguaje tenía que decidirlo por la descripción y eligió la que no era.
La corrección puesta donde no toca
pago P000000658 · Amentum Services
Un reintegro de un dólar, importe negativo. Un ajuste así no lleva ninguna señal de importe con la que atar nada, y el motor debería haberse abstenido; en cambio forzó una respuesta con confianza 0,9 y eligió mal. El régimen de correcciones negativas es el peor del examen: 127 pagos, un solo acierto. Una regla ingenua de casar por el importe positivo más cercano ni siquiera sabría dónde ponerlos.
El parcial plurianual de bloque gigante
pago P000000080 · Jet Propulsion Laboratory
El motor pagó 1.051.548 dólares y propuso, con confianza 0,95, un contrato de obligación 1.039.900, otra vez el importe casi calcado; el verdadero era de 7,2 millones. La estructura del fallo es la misma que la de la colisión de proveedor: cuando un proveedor concentra cientos de contratos plurianuales y el pago es una fracción, el importe apunta al contrato equivocado y el modelo de lenguaje no tiene con qué corregirlo.
Los peros, y el examen que se auditó a sí mismo
Esto no recrea dos libros independientes de banco contra mayor: tapa la clave de un sistema que ya venía enlazado de fábrica. La ventaja es que la clave tapada es incuestionable, un identificador oficial, y eso hace el examen repetible por cualquiera. El límite es que la conciliación de dos libros realmente independientes, con nombres en texto libre y fechas descuadradas, es la fase siguiente. También se declara que para considerar pagos plurianuales hubo que ensanchar la ventana de fecha, un perfil fijado por adelantado por la naturaleza del dato, no un ajuste mirando el resultado.
El orden fue lo primero: el pre-registro quedó congelado en un commit con una prueba de marca de tiempo anclada en la cadena de Bitcoin, antes de correr el motor sobre el corpus completo. Después aparecieron dos inexactitudes y se corrigieron en público, con su motivo y su alcance, no se taparon. Una: el pipeline declaraba «cero identificadores de contrato en las descripciones» y quedaban dos pegados a otras letras, uno de ellos una fuga que citaba el contrato de otro; se reforzó la limpieza y sólo cambió el campo de texto que lee el modelo de lenguaje. Otra: el mecanismo que pasaba las parejas al modelo dejaba a veces el pago sin evaluar, así que algunas abstenciones no eran prudencia sino un hueco del transporte; se corrigió y se verificó pago a pago. La credibilidad no viene de no equivocarse, viene de corregirse a la vista de todos.
Qué sigue
El modelo que sí puede con los parciales. Este examen usó a propósito un modelo local pequeño, coste cero, para fijar el suelo. Casi todo el margen de mejora vive en esa capa de lenguaje, y la siguiente entrega corre el mismo examen, con el mismo corpus y la misma clave tapada, cambiando sólo el modelo. La radiografía por niveles permite comparar limpio: se verá exactamente cuánto sube.
Donde los nombres sí mandan. Este corpus llega enlazado por una clave oficial; la conciliación difícil es la de dos libros independientes que sólo comparten el nombre del proveedor en texto libre. Ese es el terreno donde una capa de resolución de nombres tiene que ganarse el sueldo, y es la fase que este examen deja lista para medir.
¿Y en tu empresa?
Esto mismo, con tu extracto del banco y tu libro mayor: casar cada cobro y cada pago con la factura, el contrato o el asiento que lo justifica, y marcar los que no cuadran para que alguien los mire. En el libro de una empresa el apunte lleva texto rico y los plazos de un contrato caen dentro del año, que son justo las dos cosas que a este examen le faltan, así que el motor tiene más con lo que trabajar, no menos.
Usamos datos de Estados Unidos por un motivo concreto: las administraciones españolas no publican los dos lados a la vez, los pagos ejecutados y los contratos que los justifican, con una clave que los una. La NASA sí, a través del portal público USAspending, y eso nos deja tapar la clave y medir sin pedirle datos a nadie. Si en tu contabilidad hay apuntes que se cuadran a mano cada mes, conciliaciones que dependen siempre de la misma persona, o un cierre que se retrasa por perseguir a qué corresponde cada cobro, escríbenos y lo comentamos. Sin rollo: te decimos si se puede o no.
Datos y ficha técnica
Este experimento existe porque hay instituciones que publican sus datos en abierto. Gracias.
- Corpus. Pagos de la NASA del año fiscal 2024 contra su catálogo de contratos de 2019 a 2024: 12.649 pagos atables contra 41.091 contratos candidatos. Datos públicos de USAspending, descargados y verificados el 16 de julio de 2026.
- Sello. Pre-registro congelado en un commit con prueba de marca de tiempo anclada en Bitcoin. Primero el sello, después el motor sobre el corpus completo, sin recalcular nada.
- Modelo. Un modelo de lenguaje de 7.000 millones de parámetros corriendo en local, temperatura cero, coste cero, sin que ningún dato salga de la máquina.
- Configuración congelada. Tolerancia de fecha e importe, umbral de confianza y ventana fijados de antemano por la naturaleza plurianual del dato, no ajustados mirando el resultado.
Sin afiliación con la NASA ni con USAspending. Los errores de conciliación son sólo nuestros.