La inteligencia artificial como nuevo elemento regulador
¿Qué ocurre cuando la inteligencia artificial deja de limitarse a informar decisiones y comienza a participar en la detección de desviaciones, la definición de riesgos y la selección de respuestas?
La inteligencia artificial suele presentarse como una herramienta que procesa datos y ayuda a decidir. Sin embargo, cuando vigila variables, identifica desviaciones, calcula riesgos, prioriza intervenciones y aprende de sus resultados, deja de ocupar un lugar periférico. Comienza a formar parte del circuito mediante el cual una institución, un sistema sanitario o una sociedad intenta regular su funcionamiento.
El cambio que está pasando inadvertido
Gran parte del debate sobre inteligencia artificial se concentra en una pregunta inmediata: ¿puede un algoritmo realizar correctamente determinada tarea? Se evalúa si reconoce una imagen, predice una complicación, redacta un informe o recomienda un tratamiento con suficiente precisión.
Esta pregunta es necesaria, pero insuficiente. Examina el rendimiento de una herramienta aislada y puede ocultar una transformación más profunda: la incorporación de la IA a los sistemas que observan, clasifican y modifican la realidad.
Un sistema algorítmico puede identificar pacientes con riesgo de deterioro, establecer prioridades, activar alertas, recomendar una intervención y utilizar los resultados para modificar decisiones futuras. En ese momento, ya no se limita a aportar información. Se integra en un circuito de retroalimentación.
La entrada anterior de esta serie planteó que una sociedad no posee homeostasis en sentido fisiológico estricto, pero sí desarrolla mecanismos de observación, retroalimentación, corrección y anticipación. La IA introduce en esos mecanismos una capacidad inédita para procesar grandes cantidades de datos, detectar patrones y seleccionar respuestas a una velocidad y escala que superan ampliamente las posibilidades humanas.
Tesis central
La inteligencia artificial se convierte en un elemento regulador cuando sus clasificaciones y predicciones modifican de manera sistemática las decisiones, los comportamientos o la distribución de recursos dentro de un circuito de retroalimentación.
Herramienta, participante o regulador
No todo uso de inteligencia artificial equivale a regulación. Para evitar afirmaciones exageradas, conviene distinguir tres niveles de participación.
Nivel 1
IA como herramienta
Procesa información o ejecuta una tarea puntual. El resultado no modifica por sí mismo el funcionamiento del sistema.
Nivel 2
IA como participante
Su recomendación entra en una decisión humana o institucional, pero puede ser revisada y no determina automáticamente la respuesta.
Nivel 3
IA como regulador
Detecta desviaciones, establece prioridades, activa respuestas y recibe retroalimentación que influye en decisiones posteriores.
La diferencia no depende únicamente de la autonomía técnica del algoritmo. Un sistema puede requerir que una persona pulse el botón final y, aun así, ejercer una función reguladora si determina qué casos serán visibles, qué opciones se considerarán razonables y qué decisiones necesitarán justificación.
Por tanto, la supervisión humana formal no garantiza por sí sola que el control siga siendo humano. También importa si el profesional dispone de tiempo, información, autoridad y alternativas reales para cuestionar la recomendación.
Cómo entra la IA en el circuito regulador
Todo proceso de regulación necesita observar una variable, comparar su estado con algún criterio y generar una respuesta. La inteligencia artificial puede intervenir en cada una de estas etapas.
1. Datos y señales
↓
2. Detección de patrones
↓
3. Clasificación del riesgo
↓
4. Selección de respuesta
↓
5. Consecuencias y nuevos datos
Los resultados de la intervención generan nuevos datos que vuelven a alimentar el sistema.
| Etapa reguladora | Participación de la IA | Pregunta crítica |
|---|---|---|
| Observación | Selecciona, integra y procesa datos procedentes de múltiples fuentes. | ¿Qué dimensiones se miden y cuáles permanecen invisibles? |
| Detección | Identifica patrones, cambios y desviaciones. | ¿Toda diferencia estadística representa una alteración relevante? |
| Comparación | Aplica umbrales o modelos para clasificar estados y riesgos. | ¿Quién estableció el criterio de normalidad? |
| Priorización | Ordena personas, necesidades o intervenciones. | ¿Qué valor intenta maximizar: salud, eficiencia, ahorro o seguridad? |
| Respuesta | Recomienda, activa o automatiza una intervención. | ¿Quién conserva la autoridad y la responsabilidad final? |
| Retroalimentación | Utiliza resultados previos para ajustar decisiones posteriores. | ¿Aprende de la realidad o reproduce los efectos de sus propias decisiones? |
Este circuito no es neutral. Antes de que un algoritmo procese los datos, alguien ha decidido qué fenómeno interesa observar, qué resultado se considera deseable y qué costo puede aceptarse para alcanzarlo.
Definir el riesgo es intervenir
En medicina y en política pública, el riesgo suele presentarse como si fuera una propiedad objetiva que simplemente espera ser descubierta. Sin embargo, todo cálculo de riesgo depende de una pregunta, un periodo de observación, una población de referencia y una selección de resultados considerados relevantes.
Un algoritmo no encuentra “el riesgo” en abstracto. Estima la probabilidad de un acontecimiento determinado según los datos y las definiciones que recibió. Después, instituciones y profesionales interpretan esa probabilidad y deciden qué hacer con ella.
Cuando la clasificación algorítmica modifica el acceso a una consulta, una prueba diagnóstica, un tratamiento, un seguro o un recurso, la predicción deja de ser puramente descriptiva. Produce consecuencias sobre la persona clasificada.
La predicción puede transformar aquello que predice
Si un sistema identifica a ciertos pacientes como de bajo riesgo y estos reciben menos vigilancia, los resultados posteriores estarán influidos por esa decisión. De manera semejante, si una población ha tenido históricamente menor acceso a servicios, los datos pueden reflejar menos utilización sanitaria, aunque no exista menor necesidad.
El algoritmo puede aprender entonces no solo de las características de la enfermedad, sino también de desigualdades, decisiones institucionales y omisiones previas.
Advertencia reguladora
Cuando las decisiones algorítmicas modifican los datos que posteriormente se utilizarán para evaluar o actualizar el sistema, puede formarse un circuito cerrado que confirma sus propias clasificaciones.
La medicina como escenario privilegiado
La medicina ya constituye un sistema regulador complejo. Observa variables biológicas, interpreta síntomas, clasifica riesgos, establece objetivos terapéuticos y selecciona respuestas destinadas a conservar o recuperar la función.
Simultáneamente, los sistemas sanitarios regulan flujos de pacientes, listas de espera, disponibilidad de camas, utilización de medicamentos, costos y prioridades poblacionales. La inteligencia artificial puede incorporarse tanto a la atención de la persona como a la administración del sistema.
Entre sus aplicaciones se encuentran:
- detección temprana del deterioro clínico;
- interpretación de imágenes y señales fisiológicas;
- estimación del riesgo de complicaciones o reingreso;
- priorización de pacientes;
- recomendación de pruebas o tratamientos;
- asignación de camas y recursos;
- seguimiento remoto de enfermedades crónicas;
- generación de alertas y recordatorios;
- modificación de conductas mediante recomendaciones personalizadas.
Un nuevo intermediario clínico
Entre la información del paciente y la decisión profesional aparece un sistema que selecciona, ordena e interpreta datos. Este intermediario puede ampliar la comprensión clínica o reducirla a las variables que el modelo puede procesar.
De la persona concreta al perfil calculado
Todo modelo trabaja mediante representaciones. Para procesar la situación de un paciente debe convertirla en variables, categorías o patrones comparables. Esa reducción puede ser útil, pero nunca es completa.
El perfil algorítmico no contiene por sí mismo la experiencia de enfermar, los valores de la persona, sus responsabilidades familiares, sus temores, sus preferencias ni el significado que atribuye a una intervención.
El riesgo aparece cuando la representación calculada deja de ser una ayuda para comprender al paciente y comienza a sustituirlo.
Qué puede mejorar la inteligencia artificial
Reconocer la función reguladora de la IA no significa rechazarla. Por el contrario, permite comprender mejor dónde puede aportar valor.
Mayor sensibilidad
Puede integrar señales dispersas y detectar cambios sutiles antes de que resulten evidentes para el observador humano.
Mayor anticipación
Puede desplazar la respuesta desde la corrección tardía hacia la prevención y la preparación ante perturbaciones previsibles.
Mayor coordinación
Puede relacionar información procedente de diferentes niveles y apoyar respuestas entre profesionales, servicios e instituciones.
En términos fisiológicos, la IA puede ampliar la capacidad de detección, disminuir la latencia de respuesta y facilitar una regulación más anticipatoria. También puede ayudar a adaptar intervenciones a diferencias que los protocolos generales no reconocen adecuadamente.
Sin embargo, una mayor capacidad reguladora no garantiza por sí sola una mejor medicina. La rapidez puede propagar errores con mayor velocidad; la personalización puede convertirse en vigilancia; y la eficiencia puede alcanzarse transfiriendo costos hacia los pacientes o los profesionales.
Cuándo la regulación algorítmica se vuelve problemática
1. Cuando el indicador sustituye al objetivo
Los sistemas necesitan variables medibles. Pero aquello que puede medirse no siempre coincide con aquello que realmente importa. Si el algoritmo optimiza exclusivamente un indicador, las instituciones pueden terminar adaptando su conducta a la métrica y no a la necesidad humana que pretendía representar.
2. Cuando la normalidad estadística se convierte en norma
Un modelo puede identificar qué es frecuente dentro de una población. Pero frecuencia no significa necesariamente salud, justicia ni conveniencia. Convertir una distribución estadística en criterio normativo puede patologizar diferencias e invisibilizar minorías.
3. Cuando la recomendación desplaza el juicio
La automatización puede favorecer una confianza excesiva en el resultado algorítmico. También puede producir una pérdida progresiva de capacidades profesionales: observar, integrar información incompleta, tolerar incertidumbre y asumir una decisión razonada.
4. Cuando nadie puede responder por la decisión
Las decisiones pueden quedar distribuidas entre desarrolladores, proveedores, administradores, instituciones y usuarios. Deben existir responsabilidades claramente definidas para diseñar, validar, implementar, vigilar, corregir y retirar el sistema.
5. Cuando el sistema no puede ser cuestionado
Una clasificación con consecuencias importantes necesita mecanismos de explicación, revisión y apelación. Si una persona no puede corregir datos erróneos o solicitar una valoración alternativa, queda sometida a una forma de regulación sin participación.
El riesgo fundamental
El mayor peligro no es que la inteligencia artificial tome todas las decisiones autónomamente. Es que reorganice silenciosamente el campo de posibilidades dentro del cual los seres humanos creen estar decidiendo.
La inteligencia artificial se convierte en un elemento regulador cuando sus predicciones comienzan a modificar decisiones, prioridades y respuestas dentro del sistema sanitario.
Hacia una regulación centrada en la persona
La alternativa no consiste en retirar la inteligencia artificial de los circuitos reguladores, sino en definir las condiciones bajo las cuales puede participar sin desplazar a la persona como centro y finalidad de la atención.
- Finalidad humana explícita. El objetivo debe formularse en términos de bienestar, salud y dignidad, no solo de rendimiento institucional.
- Valores de referencia revisables. Los umbrales y criterios de normalidad no deben tratarse como verdades inmutables.
- Contexto antes que clasificación. El resultado debe interpretarse considerando la historia y las preferencias de la persona.
- Supervisión humana efectiva. El profesional necesita competencia, tiempo, autoridad y alternativas reales.
- Posibilidad de cuestionamiento. Las personas deben poder conocer, corregir y apelar decisiones importantes.
- Responsabilidad identificable. Debe estar claro quién responde por el diseño, implementación y vigilancia.
- Evaluación distributiva. Deben examinarse las consecuencias sobre grupos y personas diferentes.
- Reversibilidad y aprendizaje. La intervención debe poder modificarse o suspenderse si ocasiona daños.
La Organización Mundial de la Salud sostiene que las personas deben conservar el control sobre los sistemas sanitarios y las decisiones médicas.
La Recomendación de la UNESCO sobre la ética de la inteligencia artificial sitúa la dignidad, los derechos, la equidad y la supervisión humana en el centro de su marco.
El Marco de Gestión de Riesgos de IA del NIST organiza la gestión responsable alrededor de cuatro funciones: gobernar, contextualizar, medir y gestionar los riesgos.
Propuesta de esta serie
Una IA centrada en la persona no es aquella que simplemente utiliza más datos individuales. Es aquella cuya participación conserva la singularidad, la deliberación, la posibilidad de corrección y la responsabilidad humana.
Implicaciones para la medicina, la educación y la sociedad
Práctica médica
- Identificar qué variable intenta regular el sistema.
- Distinguir predicción, recomendación y decisión.
- Revisar datos, incertidumbre y población de referencia.
- Documentar las razones para aceptar o rechazar una recomendación.
- Incorporar los valores y el contexto del paciente.
Educación médica
- Enseñar fisiología de la regulación y pensamiento sistémico.
- Comprender probabilidades y límites de los modelos.
- Reconocer sesgos y ciclos de retroalimentación.
- Fortalecer el juicio clínico y el razonamiento causal.
- Aprender a trabajar con IA sin delegar responsabilidad.
Sociedad
- Exigir transparencia sobre objetivos y criterios.
- Auditar los efectos sobre grupos vulnerables.
- Crear mecanismos de explicación y apelación.
- Definir responsabilidades institucionales.
- Incluir participación pública en decisiones de alto impacto.
La gobernanza de la IA no puede limitarse a comprobar que el programa funciona como fue diseñado. También debe preguntar si el objetivo elegido es legítimo, si los beneficios y costos se distribuyen justamente y si las personas conservan capacidad para participar en las decisiones que las afectan.
La inteligencia artificial ya no está fuera del circuito
La inteligencia artificial comenzó como una tecnología destinada a procesar información y automatizar tareas. En numerosos ámbitos está avanzando hacia una función diferente: detectar desviaciones, calcular riesgos, establecer prioridades, seleccionar respuestas y aprender de sus consecuencias.
En ese proceso, deja de ser una herramienta externa y se convierte en un nuevo elemento de los circuitos reguladores de la medicina y de la sociedad.
Esta capacidad puede mejorar la detección, la anticipación y la coordinación. Pero también puede fijar como objetivos técnicos decisiones que en realidad son morales, políticas o clínicas.
La cuestión fundamental no es si la IA debe participar en la regulación. Ya lo está haciendo. La cuestión es bajo qué valores, con qué límites, sometida a qué formas de supervisión y orientada hacia qué concepción de la persona.
Una medicina centrada en la persona no debe rechazar la capacidad reguladora de la inteligencia artificial. Debe integrarla dentro de un orden en el cual la tecnología amplíe la comprensión y la capacidad de cuidado sin asumir la autoridad para definir, por sí sola, qué significa vivir, enfermar, sanar o decidir bien.
Próxima entrega
Magnifica Humanitas y la regulación de la persona
¿Puede construirse una regulación tecnológica verdaderamente centrada en la persona si no definimos primero qué dimensiones de lo humano deben permanecer fuera de toda reducción algorítmica?