En corto, para quien decide
Conectar un modelo a la documentación interna reduce errores sin eliminarlos. En un estudio publicado en el Journal of Empirical Legal Studies, herramientas jurídicas comerciales con RAG alucinaron entre 1 de cada 6 y 1 de cada 3 consultas.
El mayor riesgo específico de una entidad regulada está en los permisos. El índice guarda una copia que envejece, y un embedding puede revelar el texto del que procede.
Una cita visible no prueba que el modelo haya usado esa fuente, así que la verificación debe ser un paso independiente.
La normativa rara vez menciona el RAG por su nombre. Las obligaciones de proveedores, trazabilidad y protección de datos se aplican igualmente, y parte de esa aplicación sigue siendo interpretación.
La calidad se decide antes de llegar al modelo
Los equipos suelen dedicar sus primeras semanas a elegir modelo y base vectorial. Los datos apuntan a capas menos vistosas. El trabajo de la Universidad de Luxemburgo, KFUPM y BGL BNP Paribas, presentado en ICSE-SEIP 2026, evaluó el pipeline sobre documentos financieros y encontró que el parser cambia el resultado: pdfminer lideró en FinanceBench, pdfplumber en tablas y PyPDF2 quedó último en ambos. Un solape del 25% dio el mejor MRR, mientras que sin solape cayó a 0,529 en FinanceBench. BM25 aislado fue el peor recuperador en FinanceBench, con un MRR de 0,210 frente a 0,700 de E5, y ColBERT fue el mejor en tablas, con 0,844. El mejor modelo acertó solo el 54% en FinanceBench con 3 páginas recuperadas.
El troceado inteligente, por su parte, tiene peor respaldo que fama. Qu y Bao, de Vectara, y Tu, de la Universidad de Wisconsin-Madison, concluyen que el troceado semántico no justifica su coste de forma consistente. Solo ganó con claridad en datasets artificialmente cosidos, y en HotpotQA el tamaño fijo obtuvo un F1@5 de 90,59 frente a 87,37. El modelo de embeddings pesó más que la estrategia de corte.
Sobre esa base, tres mejoras tienen evidencia razonable:
| Técnica | Resultado publicado | Cautela |
|---|---|---|
| Contextual retrieval | El fallo en top-20 baja del 5,7% al 1,9% combinando embeddings y BM25 contextuales con reranking (-67%) | Dato de fabricante, sin dominios regulados |
| Reranking sobre recuperación híbrida | En 1.500 consultas sobre informes 10-K, las respuestas básicamente correctas pasan del 33,5% al 49,0% | El juez es GPT-4.1 y el reranking no recupera lo que la primera fase no trajo |
| Modelo de embeddings adecuado | Diferencia media del 7,44% entre stella y bge-large en el estudio de Vectara | Modelos de 2024 |
La práctica que se deriva es sencilla de enunciar y laboriosa de ejecutar: un conjunto de preguntas propias con sus fragmentos correctos anotados, medido en cada capa por separado. Sin esa referencia no se puede saber si un fallo procede del parser, de la recuperación o del modelo.
GraphRAG: compensa en casos concretos
Han y coautores compararon ambas familias y hallaron que ninguna gana siempre. El RAG vectorial rinde mejor en preguntas de un salto y de detalle. GraphRAG lo hace en multisalto y razonamiento. En MultiHop-RAG, el 13,6% de las consultas solo las acertó GraphRAG y el 11,6% solo el RAG vectorial. Combinar ambos mejoró hasta 6,4 puntos al mejor método individual, en MultiHop-RAG con Llama 3.1-70B, mientras que enrutar consulta a consulta apenas añadió un 1,1%. Solo alrededor del 65% de las entidades de las respuestas estaba presente en el grafo construido en HotpotQA y NQ, una limitación seria para un entorno donde la omisión también tiene consecuencias.
Microsoft afirma que LazyGraphRAG iguala el coste de indexado del RAG vectorial y abarata las consultas más de 700 veces frente a GraphRAG Global Search, con calidad comparable a este en preguntas globales, medido con un solo corpus de noticias y juicio automático. Antes de pagar la complejidad de un grafo, conviene comprobar con preguntas reales cuántas exigen de verdad varios saltos entre documentos.
Permisos: el índice es una copia que envejece
Un sistema de búsqueda empresarial replica en su índice una parte del modelo de permisos del sistema origen, y esa réplica se desincroniza. La documentación de Azure AI Search lo deja claro: solo los filtros de seguridad por cadena están en disponibilidad general, mientras que ACL y RBAC nativos, etiquetas de Purview y ACL de SharePoint siguen en preview. La comprobación utiliza los metadatos ya indexados, de manera que un cambio de permisos o de pertenencia a un grupo no surte efecto hasta la siguiente sincronización. Cuando se revoca el acceso de un empleado, la ventana de exposición dura como mínimo el intervalo de resincronización, y puede alargarse si el cambio exige un refresco explícito, como ocurre con permisos heredados en SharePoint.
El filtrado debe además ejecutarse en el orden adecuado. Filtrar después de recuperar degrada el recall, y filtrar antes añade latencia. Cuando se incorpora un grafo aparece otra vía: Thornton midió que un pipeline híbrido sin defensa filtra fragmentos no autorizados durante la expansión, con un índice de fuga de 0,0 en recuperación solo vectorial, 0,695 sobre correos de Enron y 0,085 sobre informes de la SEC. Autorizar en cada salto devuelve la fuga a 0,0 con menos de 1 ms añadido, latencia medida en el corpus sintético. Es un preprint de autor único, y su coste de mitigación es tan bajo que justifica aplicarlo igualmente.
El vector también es un dato
Tratar los embeddings como si estuvieran anonimizados es un error documentado. Morris y coautores, de Cornell, recuperaron exactamente el 92% de textos de 32 tokens en su escenario, y en notas clínicas de MIMIC-III el 94% de los nombres y el 95% de los apellidos. OWASP lo recoge como riesgo LLM08:2025, junto a las fugas entre grupos en bases compartidas.
La base de conocimiento también puede extraerse a través de la conversación. Zeng y coautores obtuvieron 89 fragmentos de diálogos médicos y 107 datos personales con 250 prompts dirigidos. El reranking apenas mitigó la fuga. Un umbral de distancia sí lo hizo, con coste en utilidad: en ataques dirigidos a datos de salud, los elementos extraídos pasaron de 122 a 73 con umbral 0,4 y a 0 con umbral 0,2.
La escritura en el índice merece la misma vigilancia que la lectura. PoisonedRAG alcanzó un 90% de éxito inyectando 5 textos por pregunta objetivo en bases de millones de documentos. EchoLeak mostró la versión real, con un correo que entraba en el contexto de Microsoft 365 Copilot por recuperación y podía sacar datos internos sin clic del usuario. Microsoft lo corrigió en servidor y declaró no haber detectado explotación.
Los correos, las cargas de usuarios y las páginas web son contenido no confiable aunque residan en el repositorio corporativo. Conviene segmentar el índice por procedencia y separar lo que se recupera de lo que puede ordenar acciones, tal como se explica en nuestro artículo sobre agentes en producción.
Una cita correcta puede ser una coartada
En un entorno regulado, la cita es la pieza que permite a un revisor comprobar una respuesta. Wallat y coautores observaron falta de fidelidad en hasta el 57% de las citas, por post-racionalización: el modelo responde primero y busca apoyo después. Ese techo procede de un modelo y un conjunto con documentos adversariales, y debe leerse como límite en condiciones de ataque. La lección de fondo es que apuntar a un documento correcto no demuestra que la afirmación proceda de él.
Las API nativas de citas reducen errores de formato y de atribución, según datos del fabricante y testimonios de clientes que no cuentan con verificación independiente. El control robusto consiste en verificar después de generar: descomponer la respuesta en afirmaciones, comprobar cada una contra el fragmento citado y registrar el resultado. Las afirmaciones sin respaldo se eliminan o se envían a revisión.
Medir, sabiendo que también falla la medición
El trabajo con más detalle público es el de Magesh y coautores, en el Journal of Empirical Legal Studies, sobre 202 consultas a productos jurídicos de 2024:
| Herramienta | Alucinación | Respuesta precisa | Incompleta |
|---|---|---|---|
| Lexis+ AI | Más de 1 de cada 6 | 65% | 18% |
| Westlaw AI-Assisted Research | Cerca de 1 de cada 3 | 41% | 25% |
| Ask Practical Law AI | Más de 1 de cada 6 | 19% | 62% |
Aquellas cifras contradecían el mensaje comercial de la época y retratan productos ya actualizados. El informe de Vals de octubre de 2025 situó a los productos legales entre el 78% y el 81% de precisión, con ChatGPT en el 80%, y a todos entre el 74% y el 78% en puntuación global ponderada. Su metodología es distinta, algunos fabricantes se retiraron y Vals declara relación comercial con algún participante, por lo que no prueba por sí solo una mejora. En finanzas, FinanceBench registró en 2023 un 81% de fallos o negativas de GPT-4-Turbo con recuperación, cifra que sirve de referencia histórica.
Las métricas automáticas ayudan a vigilar tendencias y no sustituyen la muestra humana. RAGAS define faithfulness como la proporción de afirmaciones deducibles del contexto, validada sobre solo 50 páginas. Cleanlab, con producto propio en esa categoría, observó en septiembre de 2024 que la configuración por defecto no devolvía nota en el 83,5% de los casos de FinanceBench, frente al 0% con su configuración ajustada. El trabajo de Amazon y CMU de mayo de 2026 concluye que ninguno de 23 benchmarks revisados cumple sus 7 requisitos y que, con alucinaciones orgánicas, el F1 de todos los detectores queda por debajo de 0,7. El rendimiento cae además con contextos largos.
Un cuadro de mando útil separa recuperación (recall contra fragmentos anotados), generación (fidelidad por afirmación), cobertura (porcentaje de negativas correctas) y seguridad (intentos de acceso entre perfiles), y dedica revisión experta a una muestra estratificada por riesgo.
El marco regulatorio
Ningún supervisor europeo consultado ha publicado una norma específica de RAG. Lo que existe se aplica por extensión.
Banca. DORA define los servicios TIC de forma amplia, mantiene a la entidad plenamente responsable y exige registro de contratos y localización de datos y, para los servicios que soporten funciones críticas o importantes, derechos de auditoría y estrategia de salida. Si un proveedor de modelos es siempre un servicio TIC que soporta una función crítica es algo que las fuentes consultadas no resuelven, y conviene tratarlo como una decisión de análisis documentada. La EBA centró su mapeo del AI Act en la solvencia y el scoring de personas físicas, y no ve necesidad inmediata de nuevas directrices.
Seguros. La opinión de EIOPA excluye los sistemas de alto riesgo y pide registros de datos y metodología que permitan reproducir y trazar resultados, explicabilidad adecuada a cada audiencia y responsabilidad última aunque el sistema sea comprado.
Protección de datos. La referencia europea más específica localizada es la guía alemana DSK de octubre de 2025. Sostiene que el RAG mitiga pero no resuelve los problemas del modelo, exige base jurídica para tratar datos personales en la base vectorial, donde aplican los derechos de los interesados, y señala la separación de clientes y funciones como medida aplicable en la base vectorial, ya que en el propio modelo no se puede controlar quién accede a qué. Las entradas vectoriales pueden borrarse de forma selectiva. La guía no clasifica expresamente los embeddings como dato personal. Para las instituciones de la UE, el EDPS considera necesario, en sus orientaciones, probar que el RAG no filtra datos personales de su base.
Farma. El borrador del Anexo 22 de las GMP excluía modelos generativos de las aplicaciones GMP críticas, y la EMA ha admitido que la consulta apuntó a un posible uso con salvaguardas. Según el informe del taller publicado en octubre de 2026, el grupo redactor debate un alcance que admitiría IA generativa y LLM en aplicaciones GMP con controles basados en riesgo. El anexo sigue en borrador.
Administración pública. No se han localizado mediciones empíricas publicadas de RAG en este ámbito. Cualquier proyecto debería generar su propia línea base y, en lo posible, publicarla.
Controles por capa
| Capa | Control | Evidencia que conservar |
|---|---|---|
| Ingesta | Parser elegido por tipo de documento, procedencia y clasificación de cada fuente | Versión del documento y del parser |
| Índice | Segmentación por cliente y sensibilidad, cifrado, borrado por interesado | Registro de altas, bajas y sincronizaciones |
| Recuperación | Permisos comprobados en tiempo de consulta contra el sistema origen en consultas sensibles | Identidad, consulta y fragmentos devueltos |
| Reranking y expansión | Autorización en cada salto del grafo | Decisiones de filtrado |
| Generación | Instrucciones separadas del contenido recuperado y umbral de distancia | Versión de prompt y modelo |
| Verificación | Comprobación por afirmación y negativa cuando no hay respaldo | Resultado por afirmación |
| Operación | Evaluación continua, muestra humana y pruebas entre perfiles | Informes por versión |
Si el sistema va a dar soporte a decisiones sobre personas, estos registros también alimentan las obligaciones que analizamos en el AI Act como requisito de arquitectura. allrework audita estas capas y dirige su implantación con especialistas verificados.
Datos consultados a 8 de noviembre de 2026. Este artículo ofrece una lectura técnica y no constituye asesoramiento jurídico.
