Un sistema de IA aprobado en un hospital puede fallar en silencio, según un estudio de cuatro sistemas

El estudio midió el comportamiento de cuatro herramientas clínicas ya en uso, no los resultados en pacientes.

Los sistemas de inteligencia artificial que se usan hoy en hospitales para decidir a quién vigilar de cerca, a quién mandar primero a una cama o a quién alertar por posible sepsis se aprueban con pruebas hechas antes de instalarlos. Un estudio retrospectivo siguió a cuatro de esos sistemas, ya en funcionamiento dentro de una misma organización de salud, durante periodos de 18 a 24 meses. Encontró que el buen desempeño de las pruebas de validación no se mantuvo como una propiedad estable después del despliegue: la calibración se deterioró de forma consistente y a menudo antes de que se notara cualquier cambio en la capacidad de ordenar pacientes por riesgo¹.

Vale la pena entender qué significa "calibración", porque es el corazón del asunto. Imagine que un sistema dice que un paciente tiene 20 por ciento de probabilidad de deteriorarse en las próximas 24 horas. Calibración es que esa cifra se parezca a la realidad: que de cada cien pacientes con ese puntaje, aproximadamente veinte terminen deteriorándose. Discriminación, en cambio, es la capacidad de ordenar: poner a los más graves por delante de los menos graves, aunque los números absolutos estén mal. El estudio encontró que el problema temprano más consistente no fue la caída en la capacidad de ordenar, sino la pérdida de calibración: el riesgo previsto dejó de coincidir con el riesgo observado².

En dos de los sistemas, ambos modelos de predicción sobre historia clínica electrónica en atención aguda, la capacidad de ordenar pacientes se mantuvo cerca de los niveles de validación durante los primeros meses, mientras que las medidas de calibración ya se habían desviado³. El estudio llama a esto "falla silenciosa de calibración": los modelos conservaron la capacidad de ordenar pero subestimaron o sobreestimaron sistemáticamente el riesgo absoluto. Como las decisiones de umbral y de escalamiento se apoyan en esas cifras absolutas, vigilar solo la capacidad de ordenar habría retrasado la detección⁴.

El estudio también siguió señales operativas que no dependen de conocer el desenlace clínico: cuántos datos de entrada faltaban en el momento de la predicción y cuánto tardaban en llegar. Esas señales dieron indicios tempranos de fragilidad, mientras que la vigilancia basada en desenlaces llegaba tarde por los retrasos en las etiquetas y en los procesos de documentación⁵. La razón de ese retraso es concreta: esas señales operativas se podían observar en el momento mismo de la predicción, mientras que las etiquetas de desenlace solo estaban disponibles tras demoras que, según la tarea, iban de días a meses⁶. Bajo una vigilancia basada únicamente en desenlaces, el deterioro se habría detectado solo después de esa demora, lo que deja una brecha de gobernanza: los sistemas pueden seguir operando aunque ya haya evidencia operativa de fragilidad emergente⁷.

El estudio tiene límites que conviene no saltarse. Cubrió solo cuatro sistemas de IA en una sola organización de salud, así que sus cifras no son universales: lo que muestra es un patrón, no una regla sobre la herramienta de ningún hospital en particular⁸. Midió el desempeño de los modelos y señales operativas, no resultados en pacientes: no mostró que nadie haya resultado dañado y no es evidencia de que una herramienta específica haya perjudicado a alguien. Tampoco midió la confianza de los médicos ni definió cuándo deberían dejar de apoyarse en un sistema, de modo que no puede decir cuál es un umbral seguro para ninguna herramienta concreta. El estudio abstrae deliberadamente tareas clínicas y modalidades de datos muy distintas, lo que simplifica matices propios de cada tarea, como el peso distinto que tiene la descalibración en una alerta temprana frente a una herramienta diagnóstica. No modeló las respuestas de la organización ante el deterioro detectado, ni el efecto de retroalimentación que ocurre cuando las propias predicciones del sistema influyen en las decisiones y, con el tiempo, en las etiquetas con que se audita. Y no evalúa el cumplimiento de marcos regulatorios específicos ni prescribe umbrales regulatorios.

Esta no es una preocupación aislada. En la literatura sobre aprendizaje automático, el problema se formaliza como cambio de conjunto de datos o deriva de concepto, y abarca cambios en la distribución conjunta de entradas, desenlaces y sus relaciones⁸. En salud, varios autores han subrayado que esos cambios no son eventos excepcionales sino una propiedad estructural de los datos clínicos⁸. El autor del trabajo que aquí resumimos cita a Finlayson y colaboradores, quienes sostienen que el cambio de conjunto de datos en medicina es "la regla más que la excepción", impulsado por cambios en la prestación de cuidados, los incentivos clínicos y la documentación, más que por variación aleatoria⁸.

Ya existe evidencia empírica que apoya esa inquietud. Análisis longitudinales han mostrado que los modelos predictivos pueden perder calibración y discriminación con el tiempo dentro de una misma institución, incluso cuando la demografía de los pacientes y la gravedad nominal de los casos se mantienen relativamente estables⁸. Minne y colaboradores mostraron que el desempeño de un modelo SAPS-II adaptado para mortalidad en cuidados intensivos cambió con el tiempo, lo que ilustra cómo los cambios temporales en la mezcla de casos y en los procesos de atención pueden afectar la fiabilidad de los modelos de ajuste por gravedad⁸. Los cambios en los procesos de atención, sobre todo en la solicitud de pruebas y en las prácticas de documentación, pueden alterar tanto la disponibilidad de las variables como el significado de que falten datos, lo que puede afectar el desempeño de un modelo de predicción de deterioro incluso cuando la mezcla de pacientes es relativamente estable⁸.

Los fracasos de generalización de alto perfil ilustran la misma fragilidad. Zech y colaboradores mostraron que un modelo de detección de neumonía aprendió factores propios de cada centro y ajenos a la clínica, lo que produjo grandes diferencias de desempeño entre hospitales pese a una validación interna sólida⁸. Evaluaciones externas de sistemas propietarios ampliamente desplegados, como el Epic Sepsis Model, han reportado mala discriminación y mala calibración en el uso clínico rutinario pese a su amplia adopción⁸. El estudio que nos ocupa se sitúa junto a esos sistemas reales en una tabla comparativa y señala que el reto central no es la falta de datos, sino la falta de alineación conceptual y operativa entre validación, monitoreo y gobernanza⁸.

Hay un aporte menos explorado: la deriva inducida por el flujo de trabajo. Los datos clínicos no se observan pasivamente; se producen mediante procesos sociotécnicos en los que intervienen clínicos, conjuntos de órdenes, plantillas, interfaces y políticas organizacionales⁸. Cambios en esos procesos pueden alterar no solo la distribución de las variables sino también su interpretación semántica⁸. Subbaswamy y Saria enfatizan que los sistemas predictivos que no toman en cuenta explícitamente la estructura causal son frágiles ante cambios de política y de flujo de trabajo, incluso cuando las propiedades estadísticas parecen similares⁸. Trabajos complementarios sobre fatiga de alertas y sesgo de automatización muestran que la interacción del clínico con los sistemas de apoyo puede influir recursivamente tanto en las entradas como en los desenlaces, creando bucles de retroalimentación que invalidan los supuestos originales de desempeño⁸.

Las guías regulatorias y de reporte reconocen cada vez más la necesidad de evaluar los sistemas de IA a lo largo de su ciclo de vida⁸. Marcos como TRIPOD-AI y CONSORT-AI han mejorado sustancialmente la transparencia en el desarrollo y la validación de modelos, y los organismos reguladores insisten en el monitoreo continuo de los dispositivos médicos habilitados con IA o aprendizaje automático⁸. Sin embargo, esos marcos se centran sobre todo en generar evidencia en el punto de evaluación y ofrecen orientación limitada sobre cómo detectar y gestionar el deterioro del desempeño durante la operación clínica rutinaria, en particular cuando las etiquetas de desenlace llegan tarde, están incompletas o están influidas por el uso del propio modelo⁸.

En cuanto a lo que sigue, el propio autor es explícito: la gobernanza posterior al despliegue debería incluir monitoreo continuo atento a la calibración y revisión de la telemetría operativa, sobre todo cuando las etiquetas de desenlace llegan tarde o están incompletas⁹. Y añade algo que reparte responsabilidades: si el deterioro lo impulsan la evolución del flujo de trabajo, los cambios en la documentación o las fallas en el conducto de datos, entonces la responsabilidad de la seguridad no puede recaer solo en quienes desarrollaron el modelo; debe distribuirse entre las operaciones clínicas, la tecnología de la información y las funciones de gobernanza de calidad¹⁰.

Así lo leemos nosotros. Imagine que le dicen que una herramienta fue aprobada una vez, hace dos años, y que con eso basta para confiar en ella hoy. Esa es la lógica que este estudio pone en duda: la aprobación inicial es una foto de un momento, no una garantía que se renueve sola. Lo que esperaríamos, en un hospital de nuestra región que use una herramienta así, es que su precisión se vaya desviando poco a poco sin que nadie lo note, porque nadie está mirando los números que sí cambian a diario: cuántos datos faltan, cuánto tardan en llegar. Si en cambio el sistema mantuviera exactamente el mismo desempeño tras uno o dos años de uso, sin que nadie lo haya ajustado ni revisado, entonces esta forma de verlo no aplicaría. Usted podría saber que nos equivocamos si el hospital le mostrara revisiones periódicas con resultados estables.

Y hay algo que usted puede hacer con esto, sin necesitar formación técnica. La próxima vez que una clínica, una aseguradora o una autoridad de salud le diga que su sistema de IA "es seguro porque fue validado", pregunte tres cosas concretas: cada cuánto lo revisan, quién es responsable de detectar que dejó de funcionar bien, y si pueden mostrarle esa revisión por escrito. Si solo le muestran la aprobación inicial, usted puede señalar, con razón, que un solo examen no demuestra que algo siga funcionando. Esa pregunta no requiere abogados ni conocimientos de estadística, y cambia la conversación: de "confíe" a "muéstreme cómo lo comprueban".

El estudio concluye que la validación debería tratarse como una referencia operativa de base y no como una garantía durable de seguridad, y que la gobernanza posterior al despliegue debería incluir monitoreo continuo atento a la calibración y revisión de la telemetría operativa, en particular cuando los desenlaces llegan tarde o incompletos⁹. Nada de esto significa que usted o alguien de su familia deba evitar, retrasar o reemplazar una atención indicada por un profesional. Significa que la pregunta sobre cómo se vigila una herramienta después de instalarla es una pregunta legítima que cualquier persona puede hacer. ¿Cada cuánto revisan el sistema de IA que se usa donde usted se atiende, y quién responde si deja de funcionar bien?