DOF analysis · December 26, 2025
Diario Oficial de la Federación, No. de publicación 348/2025, Ciudad de México, viernes 26 de diciembre de 2025 (Edición Matutina)
Document type: Edición del Diario Oficial de la Federación (compendio: Convenios, Resoluciones CNBV, NOMs/Proyectos, Acuerdos, Programas Institucionales, Lineamientos, Sentencia SCJN, Circulares)
Statistics
Metadata
Risk categories present
Urgency justification
Source content shown in its original language (Spanish).
El compendio combina (a) infraestructura de identidad nacional (confronta masiva a la BDNCURP/RENAPO) e interoperabilidad de la CURP como identificador único, con riesgo de vigilancia (R9) y privacidad (R3) a escala poblacional; (b) sistemas automatizados de detección de fraude y scoring crediticio en el sector financiero popular, usados en perjuicio del usuario sin transparencia algorítmica ni revisión humana (R1, R2, R3); (c) programas institucionales (CICESE, CIO) que declaran explícitamente IA en diagnóstico médico, diseño de proteínas (dual-use, R11), ciberdefensa e infraestructura crítica y capacidades satelitales para la SEDENA (R9, R10, R12), todas sin marco de gobernanza, validación clínica, control civil ni evaluación de doble uso; y (d) gestión algorítmica del trabajo en plataformas digitales regulada solo en su dimensión de ingreso, dejando sin atender la transparencia del algoritmo que dirige a las personas trabajadoras (R6, R7). La presencia de capacidades de defensa (nanosatélite SEDENA) y de diseño de proteínas asistido por IA eleva el nivel de riesgo máximo a Extrema.
Executive summary
Source content shown in its original language (Spanish).
Esta edición matutina del DOF (26 de diciembre de 2025) es un compendio multisectorial. Aunque la mayor parte de su contenido es administrativo (convenios, resoluciones contables/prudenciales de la CNBV, NOMs ambientales, investigaciones antidumping, habilitaciones de corredores públicos, una sentencia de la SCJN sobre estado de interdicción y avisos), contiene varios hallazgos relevantes para la regulación de la IA, tanto explícitos como implícitos. Los hallazgos explícitos se concentran en los Programas Institucionales 2025-2030 del CICESE y del Centro de Investigaciones en Óptica (CIO) de la SECIHTI, que declaran líneas activas de IA: diagnóstico médico por análisis de imágenes (Alzheimer, cáncer), diseño de fármacos y proteínas mediante IA (capacidad de doble uso con riesgo de bioseguridad), IA aplicada a ciberdefensa de infraestructura crítica, drones y satélites de monitoreo territorial, un nanosatélite construido para la SEDENA, y plataformas de tamizaje de salud mental en menores. El INECC, por su parte, reconoce a la IA y a las economías digitales intensivas en energía como riesgos emergentes a vigilar. El mismo CICESE declara además una línea explícita de 'Inteligencia Artificial centrada en el humano' aplicada a salud mental y educación —agentes conversacionales (chatbots) de salud mental, tutores inteligentes, reconocimiento de lengua de señas y neurotecnología para Trastorno del Espectro Autista—, dirigida a poblaciones vulnerables (menores escolares, personas con discapacidad) y desplegada sin marco de supervisión humana ni validación clínica (R8, R1, R2, R3). Los hallazgos implícitos están en el sector financiero (sistemas automatizados de monitoreo y alertamiento de fraude que perfilan el comportamiento y la localización del usuario; metodologías de scoring crediticio con tratamiento diferenciado por 'Zona Marginada'), en la infraestructura de identidad (confronta masiva de padrones contra la BDNCURP de RENAPO, promovida además como identificador biométrico oficial) y en el trabajo de plataformas digitales (gestión algorítmica regulada solo en su dimensión de ingreso). El riesgo transversal más crítico es la ausencia de marcos de gobernanza: no hay transparencia algorítmica, validación clínica, supervisión humana obligatoria, auditoría de sesgo, derecho de impugnación, ni controles de doble uso. Se recomienda priorizar la regulación de la IA en salud (validación y supervisión médica), la transparencia de los sistemas automatizados de decisión en el sector financiero y de plataformas, salvaguardas de privacidad para la interoperabilidad de la CURP, y controles democráticos y de bioseguridad para las capacidades de IA con aplicaciones de defensa, vigilancia y diseño de proteínas.
Mexican context
Source content shown in its original language (Spanish).
Special considerations
- La promoción de la CURP como identificador único interoperable entre sector público, privado y financiero (RENAPO) crea condiciones para la vinculación masiva de bases de datos en un país con capacidad limitada de control de uso secundario y antecedentes de uso indebido de información gubernamental.
- Los sistemas automatizados de detección de fraude y los puntajes crediticios afectan de forma diferenciada a una población con ~60% de informalidad laboral y patrones financieros atípicos; el propio Anexo D distingue 'Zona Marginada', evidenciando sensibilidad social que podría traducirse en exclusión financiera.
- El despliegue de IA diagnóstica para 'democratizar' la atención en zonas rurales sin especialistas eleva el riesgo de automation bias y de daños por falsos negativos en cáncer y Alzheimer si no hay supervisión médica.
- Las capacidades de IA con aplicaciones de defensa (nanosatélite para SEDENA, ciberdefensa) y de diseño de proteínas (dual-use) se desarrollan dentro de un discurso de 'soberanía tecnológica' sin marco de control civil, transparencia ni evaluación de doble uso.
- El trabajo en plataformas digitales involucra a un sector laboral precario y mayoritariamente informalizado; la regulación atiende ingreso y seguridad social pero no la gestión algorítmica que dirige y evalúa a las personas trabajadoras.
Enforcement capacity
Media-Baja. Las autoridades involucradas (CNBV, RENAPO, INAI/autoridades garantes, STPS, SECIHTI) tienen recursos y capacidades técnicas heterogéneas. La CNBV regula la metodología pero no audita modelos algorítmicos de fraude/scoring caso por caso; RENAPO opera la BDNCURP con controles contractuales de seguridad pero sin supervisión algorítmica; la STPS carece de un marco para auditar gestión algorítmica de plataformas; y los centros de investigación (CICESE, CIO) operan sin un órgano regulador de IA. No existe en México una autoridad especializada en IA, lo que limita la fiscalización del despliegue clínico, de defensa y de doble uso.
Relevant precedents
- Decreto por el que se adicionan diversas disposiciones de la Ley Federal del Trabajo para regular el trabajo en plataformas digitales (DOF, 24 de diciembre de 2024) y sus Disposiciones de cálculo de ingreso neto (DOF, 27 de junio de 2025).
- Ley General de Protección de Datos Personales en Posesión de Sujetos Obligados (LGPDPPSO) y Ley General de Transparencia y Acceso a la Información Pública (LGTAIP), invocadas en el Convenio CURP.
- Ley General de Población y el marco de RENAPO/CURP (Acuerdo de adopción de la CURP, DOF 23 de octubre de 1996).
- Criterios de la SCJN sobre derecho a la identidad, seguridad jurídica y no discriminación (la propia AI 51/2025 reafirma la inconstitucionalidad del estado de interdicción por afectar la capacidad jurídica y la no discriminación).
- Disposiciones de carácter general de la CNBV en materia de prevención de fraudes y prudencial aplicables al sector de ahorro y crédito popular.
Findings
Findings detected by the analysis. Expand each one to see the original fragment and recommendations.
Source content shown in its original language (Spanish).
Identidad y Registro de Población (CURP/RENAPO) Implícito - Riesgo/Gap Regulatorio Very High
Regulatory domain
Identidad y Registro de Población (CURP/RENAPO)
Regulatory gap
Yes
Original fragment
“RENAPO” verificará los datos que le solicite “CAPREPA”, mediante el proceso de Confrontas a la BDNCURP, a fin de verificar la identidad legal de sus usuarios, en estricto apego a sus atribuciones. Relevance analysis
El Convenio establece interconexión en línea y en tiempo real con la Base de Datos Nacional de la CURP (BDNCURP) y un proceso de 'Confronta' masiva semestral de padrones de usuarios (pensionados, derechohabientes de la Policía Auxiliar de la CDMX). Aunque no menciona IA, la confronta automatizada de padrones contra un registro poblacional nacional y la validación de 'supervivencia en tiempo real' (numeral 22 del Manual Administrativo de CAPREPA) son la infraestructura típica sobre la que operan sistemas de matching/identidad y análisis automatizado. RIESGOS: R3 (privacidad) por procesamiento masivo de datos personales de identidad sin que el titular intervenga en cada confronta; R2 (discriminación/errores de matching que podrían suspender pagos de pensión a personas legítimas, p.ej. homónimos o CURP no certificada por Registro Civil); R9 (vigilancia) porque la CURP se promueve como 'identificador único' interoperable entre sector público, privado y financiero (Antecedente XII, líneas de acción 4.4.7), creando las condiciones para vinculación masiva de bases de datos gubernamentales. GAP: el Convenio regula confidencialidad y seguridad, pero NO regula el uso de algoritmos de matching, no exige umbrales de precisión, no establece derecho de impugnación humana ante una confronta que niegue identidad/supervivencia, ni auditoría de sesgo. En México, donde la certificación de CURP en Registro Civil es desigual, los falsos negativos recaen sobre poblaciones vulnerables (adultos mayores pensionados).
Recommendations
- Exigir que toda confronta o validación de identidad/supervivencia que tenga efectos sobre derechos (suspensión de pensión o servicio) cuente con revisión humana y un canal expedito de impugnación antes de cualquier afectación.
- Establecer estándares mínimos de precisión y registro auditable de falsos positivos/negativos en los procesos de Confronta a la BDNCURP, con supervisión de la autoridad garante de datos.
- Limitar expresamente la reutilización y vinculación de la CURP como identificador único interoperable sin evaluación de impacto en privacidad y derechos humanos.
- Prohibir la inferencia o el perfilamiento secundario a partir de los datos accedidos vía Servicios CURP.
Financiero (prevención de fraude en Sociedades Financieras Populares) Implícito - Tecnología High
Regulatory domain
Financiero (prevención de fraude en Sociedades Financieras Populares)
Regulatory gap
Yes
Original fragment
Contar con modelos, sistemas de monitoreo o informes diseñados para detectar y alertar actos fraudulentos en todas las líneas de negocios como son de manera enunciativa, mas no limitativa, informes de excepción, informes de mantenimiento de archivos, procesos de vigilancia de empleados, monitoreo de cuentas, control de accesos al sistema, patrones y anulaciones. Relevance analysis
La Resolución obliga a las Sociedades Financieras Populares (con activos mayores a 280 millones de UDIs) a implementar 'modelos', 'sistemas de monitoreo' y 'sistemas automatizados de alertamiento' que detecten operaciones que 'se aparten de la transaccionalidad típica del Usuario' y de 'parámetros basados en el consumo y la localización'. La detección automatizada de anomalías por desviación del comportamiento típico y por geolocalización es exactamente el tipo de tarea que se resuelve hoy con modelos de Machine Learning, aunque la norma use el eufemismo 'modelos y sistemas de monitoreo'. RIESGOS: R1 (errores/falsos positivos que bloquean operaciones legítimas; la norma trata el alertamiento como evidencia para resolver Reclamaciones Monetarias 'no procedentes', en su perjuicio del Usuario); R2 (sesgo: clientes con patrones atípicos —economía informal, migrantes, zonas marginadas— pueden ser sistemáticamente marcados; la norma reconoce 'Personas en Situación de Vulnerabilidad' pero no las protege frente al alertamiento algorítmico); R3 (vigilancia financiera y de localización masiva, además de 'vigilancia de empleados'). GAP: la norma exige documentar metodología pero NO exige explicabilidad del modelo, auditoría de sesgo, tasa máxima de falsos positivos, ni derecho del Usuario a una revisión humana del alertamiento que se usa en su contra para negar la devolución de su dinero.
Recommendations
- Exigir que cuando un alertamiento o 'modelo de monitoreo' se utilice como elemento para dictaminar una Reclamación Monetaria como no procedente, el Usuario tenga derecho a conocer los criterios y a una revisión humana.
- Requerir auditorías independientes de sesgo y desempeño de los modelos de detección de fraude, con atención específica a Personas en Situación de Vulnerabilidad y zonas marginadas.
- Definir métricas mínimas de precisión y límites a la tasa de falsos positivos para evitar bloqueos masivos injustificados.
- Limitar la retención y el uso secundario de los datos de geolocalización y comportamiento usados por estos sistemas.
Financiero (calificación crediticia y reservas) Implícito - Tecnología High
Regulatory domain
Financiero (calificación crediticia y reservas)
Regulatory gap
Yes
Original fragment
En todo caso, el Puntaje Crediticio Totali será el que resulte de aplicar lo señalado en los Anexos D Bis 2, D Bis 3 o D Bis 4 de las presentes disposiciones, según corresponda, considerando todas las exposiciones del acreditado con la Sociedad Financiera Popular. Las Sociedades Financieras Populares emplearán la misma Probabilidad de Incumplimiento para todos los créditos de un mismo acreditado. Relevance analysis
Las Disposiciones establecen metodologías de 'Puntaje Crediticio Total' y 'Probabilidad de Incumplimiento' para constituir reservas y calificar cartera de consumo, microcrédito y vivienda. Estos puntajes (scoring crediticio) y su aplicación a millones de acreditados son candidatos naturales a automatizarse con modelos estadísticos/ML. Aunque la fórmula reglamentaria es determinística, su operación a escala y la posibilidad de complementarla con scoring automatizado conllevan riesgo R2 (discriminación). Es notable que el propio Anexo D introduce porcentajes diferenciados de estimaciones preventivas para créditos otorgados a personas que residen en una 'Zona Marginada', lo que evidencia la sensibilidad territorial/social del scoring. GAP: no se exige análisis de impacto diferencial ni transparencia sobre las variables que alimentan el Puntaje Crediticio, ni mecanismos de impugnación del scoring por el acreditado.
Recommendations
- Exigir transparencia y auditoría de equidad sobre las variables del Puntaje Crediticio para evitar discriminación indirecta por residencia, género o pertenencia étnica.
- Garantizar al acreditado el derecho a una explicación y a impugnar decisiones de crédito basadas en puntajes automatizados.
- Monitorear que el tratamiento diferenciado por 'Zona Marginada' no se traduzca en exclusión financiera estructural de poblaciones vulnerables.
Risk categories
Ciencia y Tecnología / Salud (Programa Institucional CICESE) Explícito Extreme
Regulatory domain
Ciencia y Tecnología / Salud (Programa Institucional CICESE)
Regulatory gap
Yes
Original fragment
Se trabaja también en la creación de herramientas de IA capaces de analizar imágenes médicas, como radiografías y tomografías para detectar enfermedades como el Alzheimer y cáncer. Eso no solo agiliza el diagnóstico, sino que también puede democratizar el acceso a la atención especializada en zonas rurales. Relevance analysis
El Programa Institucional del CICESE declara explícitamente líneas de IA aplicadas a salud: análisis de imágenes médicas (radiografías y tomografías) para detectar Alzheimer y cáncer, 'inteligencia artificial para el desarrollo de fármacos o clasificación de afecciones cardíacas', 'desarrollo de proteínas por medio de inteligencia artificial' para respuesta inmunológica y para retinopatía diabética, y un 'sistema inteligente de neurotecnología' para Trastorno del Espectro Autista. También describe una 'Plataforma Digital para la Salud Mental y Adicciones' que realizó 5,882 tamizajes a estudiantes de secundaria y preparatoria. RIESGOS: R1 (malfunctions) por diagnóstico médico asistido por IA sin que el Programa mencione validación clínica, supervisión médica obligatoria o manejo de falsos negativos/positivos en cáncer y Alzheimer; el riesgo de automation bias es alto si se despliega en zonas rurales sin especialistas. R3 (privacidad) por el tamizaje masivo de salud mental y adicciones en menores de edad mediante plataforma computacional, dato altamente sensible. R11 (bioterrorismo/dual-use) por el diseño de proteínas mediante IA, capacidad de doble uso reconocida internacionalmente como riesgo de bioseguridad. GAP: el Programa describe capacidades de I+D pero ningún marco regulatorio acompaña el despliegue clínico de IA diagnóstica, el tratamiento de datos de salud mental de menores, ni controles de bioseguridad para el diseño de proteínas asistido por IA.
Recommendations
- Condicionar el despliegue de IA diagnóstica en salud a validación clínica, supervisión médica humana obligatoria y registro de desempeño (sensibilidad/especificidad), especialmente para uso en zonas rurales.
- Establecer salvaguardas reforzadas de privacidad y consentimiento para tamizajes de salud mental y adicciones en menores mediante plataformas digitales.
- Incorporar controles de bioseguridad y revisión dual-use para proyectos de diseño de proteínas asistido por IA, alineados con prácticas internacionales de investigación responsable.
- Crear un marco de evaluación previa (sandbox) para herramientas de IA en salud antes de su transferencia a servicios estatales.
Ciencia y Tecnología / Defensa e Infraestructura crítica (CICESE y CIO) Explícito Extreme
Regulatory domain
Ciencia y Tecnología / Defensa e Infraestructura crítica (CICESE y CIO)
Regulatory gap
Yes
Original fragment
Integración de tecnologías SDN (redes definidas por software) con inteligencia artificial aplicada a la ciberseguridad, para la protección de infraestructuras críticas de comunicaciones, centros de datos, redes IoT, permitiendo entornos avanzados de escenarios de ciberataques y ciberdefensa. Relevance analysis
Tanto el CICESE como el CIO describen capacidades de IA y tecnologías de frontera con dimensión de seguridad nacional y soberanía: IA para ciberseguridad/ciberdefensa de infraestructura crítica, 'sistemas aéreos no tripulados (drones) para monitoreo' y teledetección, 'desarrollo de satélites nacionales para fortalecer la soberanía tecnológica y el monitoreo territorial' (CIO), y el primer nanosatélite mexicano construido por el CICESE para la Secretaría de la Defensa Nacional, puesto en órbita en 2019. RIESGOS: R10 (concentración/soberanía) porque el discurso de 'independencia/soberanía tecnológica' apunta a capacidades estratégicas concentradas en el Estado y pocos centros; R9 (vigilancia) por drones de monitoreo territorial y satélites de 'monitoreo territorial' con uso potencial de vigilancia; R12 (escalada bélica/defensa) por el desarrollo de nanosatélites y capacidades de ciberdefensa para la SEDENA, tecnología de doble uso militar. GAP: son programas institucionales de I+D sin marco que regule el uso militar/vigilancia de estas capacidades, controles democráticos, ni evaluación de doble uso. Es un gap de gobernanza: capacidades de IA con aplicaciones de defensa y vigilancia se desarrollan sin un marco de transparencia y control civil.
Recommendations
- Establecer controles democráticos y de transparencia sobre el uso de IA, drones y satélites de monitoreo territorial con potencial de vigilancia poblacional.
- Crear protocolos de evaluación de doble uso (dual-use) para proyectos de IA aplicados a ciberdefensa y capacidades satelitales para fuerzas armadas.
- Definir límites y supervisión civil al despliegue de IA en infraestructura crítica y defensa, con rendición de cuentas.
- Promover acuerdos de uso responsable que distingan claramente aplicaciones científicas y civiles de las de seguridad nacional.
Agricultura / Seguridad Alimentaria y Energía (CIO y CICESE) Explícito Medium
Regulatory domain
Agricultura / Seguridad Alimentaria y Energía (CIO y CICESE)
Regulatory gap
Yes
Original fragment
drones para censar humedad en cultivos y optimización de riego (tecnificación del riego agrícola), sistemas de Inteligencia Artificial que dosifican herbicidas donde se requiere (Seguridad Alimentaria) Relevance analysis
Los programas describen IA aplicada a agricultura de precisión (drones que sensan humedad, sistemas de IA que dosifican herbicidas) y a gestión energética (algoritmos de inteligencia computacional para microrredes y predicción solar). Son aplicaciones de IA en infraestructura productiva y de servicios. RIESGOS: R1 (errores) por la dosificación automatizada de herbicidas, que de fallar puede causar daño ambiental/agrícola; R15 (riesgos emergentes) por la introducción de automatización en gestión de microrredes eléctricas (un fallo en optimización autónoma podría afectar suministro). Severidad media porque son pilotos/líneas de investigación, no despliegues masivos obligatorios. GAP: no hay marco de supervisión humana ni de responsabilidad para automatización en sistemas agrícolas y energéticos. Se documenta como gap potencial de monitoreo futuro.
Recommendations
- Establecer requisitos de supervisión humana y trazabilidad en sistemas de IA que dosifican agroquímicos para evitar daños ambientales.
- Definir niveles mínimos de control humano en la optimización automatizada de microrredes eléctricas y otros sistemas energéticos.
- Monitorear el escalamiento de estos pilotos para anticipar riesgos cuando pasen de investigación a despliegue operativo.
Trabajo / Plataformas Digitales Implícito - Riesgo/Gap Regulatorio High
Regulatory domain
Trabajo / Plataformas Digitales
Regulatory gap
Yes
Original fragment
Que la definición de los criterios de exclusión busca generar un equilibrio entre la protección efectiva de los derechos laborales de las personas trabajadoras y la disponibilidad de las fuentes de empleo, garantizando condiciones de trabajo dignas y el acceso progresivo a la seguridad social, conforme a los principios constitucionales de equidad, proporcionalidad y progresividad, atendiendo a las particularidades del modelo tecnológico y productivo de las plataformas digitales. Relevance analysis
El Acuerdo regula el cálculo del ingreso neto de las personas trabajadoras de plataformas digitales (economía gig: reparto, transporte). El 'modelo tecnológico y productivo de las plataformas digitales' que la norma reconoce se basa en la asignación, dirección y evaluación algorítmica del trabajo (gestión algorítmica), aunque el Acuerdo solo aborde el componente fiscal/de ingreso. RIESGOS: R6 (explotación laboral) porque la gestión algorítmica determina asignación de tareas, tarifas y desconexión sin que la norma regule transparencia algorítmica ni derecho a explicación; R7 (desplazamiento/precarización) porque estas plataformas representan empleo precario y la automatización de la asignación concentra control en la plataforma. El factor de exclusión 'por uso de plataforma digital como herramienta de trabajo tecnológica' (hasta 48%) traslada al trabajador el costo del modelo tecnológico. GAP: la regulación de plataformas digitales (derivada del Decreto de 24-dic-2024) atiende ingreso y seguridad social pero NO regula la gestión algorítmica: asignación, scoring/reputación, suspensiones automáticas o transparencia del algoritmo que dirige el trabajo.
Recommendations
- Complementar la regulación de plataformas con obligaciones de transparencia sobre los algoritmos de asignación, tarificación, evaluación (scoring) y desconexión de trabajadores.
- Garantizar el derecho de la persona trabajadora a una explicación y a impugnar suspensiones o desactivaciones decididas algorítmicamente.
- Evaluar el impacto del factor de exclusión por uso de plataforma para que no se convierta en un mecanismo de traslado indebido de costos al trabajador.
- Vigilar la clasificación laboral para evitar que la 'herramienta tecnológica' encubra subordinación efectiva.
Risk categories
Medio Ambiente / Política Climática (INECC) Explícito Medium
Regulatory domain
Medio Ambiente / Política Climática (INECC)
Regulatory gap
Yes
Original fragment
Frente al avance vertiginoso de nuevas actividades humanas —como bioseguridad, la inteligencia artificial y las economías digitales intensivas en energía y materiales— la respuesta institucional mantendrá su rigor científico, flexibilidad normativa y visión estratégica. Relevance analysis
El Programa del INECC reconoce explícitamente a la inteligencia artificial y a las 'economías digitales intensivas en energía y materiales' como nuevas actividades humanas cuyos riesgos emergentes (incluida la huella energética/material de la IA) la institución deberá anticipar y monitorear. Es una mención contextual, no operativa, pero relevante porque ubica a la IA dentro de los riesgos emergentes a vigilar desde la política ambiental. RIESGO: R15 (riesgos emergentes) por el reconocimiento del impacto energético-material de la IA y la necesidad de monitoreo continuo. Severidad media: es un mandato de anticipación, no un sistema desplegado. GAP: no se traduce aún en instrumentos concretos (p.ej. evaluación de la huella ambiental de centros de datos de IA), por lo que constituye un gap de operacionalización.
Recommendations
- Desarrollar metodologías concretas para evaluar y monitorear la huella energética e hídrica de la infraestructura de IA y centros de datos en México.
- Integrar el factor IA/economías digitales intensivas en energía en los inventarios de emisiones y escenarios de mitigación del INECC.
- Adoptar un enfoque precautorio de monitoreo continuo de tecnologías emergentes con impacto ambiental.
Risk categories
Salud Mental / Educación / Neurotecnología (Programa Institucional CICESE) Explícito High
Regulatory domain
Salud Mental / Educación / Neurotecnología (Programa Institucional CICESE)
Regulatory gap
Yes
Original fragment
Entre los proyectos más innovadores, destaca la iniciativa de Inteligencia Artificial centrada en el humano con aplicación en salud y educación. Este proyecto multidisciplinario abarca varias líneas de investigación, entre las que se incluyen el desarrollo y evaluación de terapias de regulación emocional, el reconocimiento de lengua de señas mediante sistemas inteligentes, la evaluación de agentes conversacionales aplicados a la salud mental y la educación y el diseño de tutores inteligentes para la enseñanza de programación. Relevance analysis
El Programa del CICESE declara explícitamente, además de la IA diagnóstica de imágenes médicas (H4), una línea de 'Inteligencia Artificial centrada en el humano con aplicación en salud y educación' que incluye: (a) 'agentes conversacionales aplicados a la salud mental' (chatbots de salud mental), (b) 'tutores inteligentes para la enseñanza de programación' (educación automatizada), (c) 'reconocimiento de lengua de señas mediante sistemas inteligentes', (d) 'terapias de regulación emocional' asistidas, y (e) un 'Sistema inteligente de neurotecnología orientado al Trastorno del Espectro Autista (TEA)'. Estas aplicaciones se dirigen a poblaciones específicas (personas con autismo, personas sordas, estudiantes, personas con problemas de salud mental). RIESGOS: R8 (reducción de conexión social / sustitución de la relación humana terapéutica por chatbots de salud mental, con riesgo de respuestas inadecuadas en contextos de crisis emocional, especialmente preocupante por su despliegue potencial en menores escolares); R1 (malfunctions: un agente conversacional o tutor inteligente que produce respuestas erróneas o 'alucinaciones' en salud mental o educación puede causar daño, sin que el Programa mencione validación clínica/pedagógica ni supervisión humana); R2 (sesgo: el reconocimiento de lengua de señas y la neurotecnología para TEA pueden funcionar peor en poblaciones subrepresentadas en los datos de entrenamiento, y los sistemas dirigidos a personas con discapacidad requieren evaluación de equidad); R3 (privacidad: el procesamiento de datos de salud mental, emocional y neurológica es altamente sensible). GAP: el Programa describe estas capacidades de I+D como innovación, pero no se acompaña de ningún marco que exija supervisión humana obligatoria de los agentes conversacionales de salud mental, validación clínica de la neurotecnología para TEA, protección reforzada de datos emocionales/neurológicos, ni evaluación de los efectos de sustituir interacción humana por sistemas conversacionales en poblaciones vulnerables.
Recommendations
- Exigir supervisión humana profesional obligatoria y protocolos de derivación a atención humana en cualquier agente conversacional de IA aplicado a salud mental, en especial si se despliega con menores de edad.
- Condicionar la neurotecnología y los sistemas inteligentes dirigidos a personas con TEA o con discapacidad auditiva a validación clínica y a auditoría de equidad/desempeño por subgrupo poblacional.
- Establecer salvaguardas reforzadas de privacidad y consentimiento para el tratamiento de datos emocionales, de salud mental y neurológicos por sistemas de IA.
- Evaluar el impacto de la sustitución de interacción humana por agentes conversacionales y tutores inteligentes antes de su transferencia a servicios educativos o de salud estatales.