Team Banzai · nuestro método · CC BY 4.0

Cómo auditar una documentación escrita por una inteligencia artificial

Un modelo de lenguaje puede escribir un manual entero de un sistema en minutos. La pregunta no es si suena bien: suena bien casi siempre. La pregunta es si dice la verdad del sistema que tienes delante o recita lo que se sabe de memoria. Estas nueve comprobaciones sirven para verlo tú, sin fiarte de nadie. Salen del corrector que usamos en la demo de DOOM; aquí están en llano, para que valgan igual con la doc de tu ERP.

1. Cada afirmación con número trae su fuente.

   Un tiempo, un límite, un importe, una regla: al lado, el archivo y la línea (o la tabla, o el artículo del contrato) de donde sale. Una afirmación sin fuente es una opinión, por bien redactada que esté. Si no cita, no cuenta.

2. Vas a la fuente y compruebas que dice eso.

   El paso que casi nadie da. No basta con que haya una referencia: ábrela y mira si el número que afirma la doc es el que hay en esa línea. Una cita que apunta a un sitio donde pone otra cosa es peor que ninguna cita, porque aparenta rigor.

3. Metes un cambio a escondidas y ves si lo caza.

   Cambia una cifra del sistema real sin decírselo (un plazo, un tope) y pide que lo documente. Si reporta el valor nuevo, ha leído el sistema. Si reporta el de siempre, está recitando lo que ya sabía. Es el truco del profesor que cambia una cifra del enunciado para ver quién copió del libro.

4. El instrumento sabe suspender.

   Pásale una documentación que sabes que está mal (que recita los valores viejos) y comprueba que la marca como mala. Un corrector que aprueba siempre no vale para nada: si nunca da un cero, un aprobado no significa nada.

5. Declara lo que no sabe.

   Una doc honesta tiene una sección de dudas: "esto depende del caso", "esto no lo he podido comprobar". La que afirma todo con la misma seguridad esconde sus lagunas. Desconfía de la seguridad uniforme.

6. Distingue lo fijo de lo que varía.

   "Hace 7 de daño" es distinto de "hace 7, 14 o 21 según el caso". "Tarda 3 segundos" es distinto de "depende de la distancia". Si la doc colapsa un rango o una condición en un número único, está simplificando de más, y eso es un error disfrazado de precisión.

7. Separa lo que leyó de lo que dedujo.

   Una cosa es "el código pone 105"; otra es "por tanto la puerta espera 3 segundos". La segunda es un cálculo, y los cálculos se comprueban. Que la doc marque cuáles son datos directos y cuáles son conclusiones suyas.

8. Habla el idioma de quien la lee.

   La misma verdad se cuenta distinta para quien mantiene el sistema, para quien decide y para quien lo usa. Si hay una sola doc con jerga para todos, alguien se queda fuera. Pide la versión de cada destinatario, y que las tres cuadren entre sí.

9. Se puede reproducir.

   Otra persona, con el mismo sistema y las mismas instrucciones, debería llegar al mismo veredicto. Si el resultado depende de quién lo mira o de cómo sopló el viento ese día, no es una auditoría, es una impresión.

El resumen en una frase: no preguntes si la doc suena bien; comprueba si cada cosa que afirma está en el sistema, si declara lo que no sabe, y si tu corrector sabe suspender cuando debe.

Método de Team Banzai (team-banzai.com), publicado bajo licencia CC BY 4.0: úsalo citando la fuente. Sale de la demo técnica "reconstruir la documentación de DOOM leyendo su código, con examen incluido".