Añadir ElPlural.com como fuente preferida de Google.
Mantente informado con las últimas noticias de actualidad.
La inteligencia artificial ya no se limita a responder preguntas, redactar documentos o resolver problemas. También puede escuchar preocupaciones personales, recordar conversaciones y ofrecer respuestas que imitan la comprensión y el afecto humanos. Francia quiere poner límites a esta nueva relación entre los usuarios y las máquinas, especialmente cuando afecta a menores de edad. Un comité de expertos ha advertido de que los asistentes de inteligencia artificial pueden generar dependencia emocional y abrir la puerta a un modelo de negocio basado en explotar las vulnerabilidades psicológicas de quienes los utilizan.
La advertencia aparece recogida en un informe del Consejo de Inteligencia Artificial y Tecnología Digital (CIANum), presentado este martes 10 de noviembre al presidente francés, Emmanuel Macron, durante el Foro de París sobre la Paz. El documento plantea endurecer la regulación de herramientas como ChatGPT, Gemini, Grok o Meta AI y establecer mecanismos específicos para proteger a niños y adolescentes frente a los riesgos asociados a sus conversaciones con estos sistemas.
El problema, según los expertos franceses, no reside únicamente en los contenidos que pueden generar los chatbots, sino también en la forma en que están diseñados para relacionarse con las personas. Su capacidad para adaptar las respuestas, utilizar un lenguaje cercano y mantener conversaciones personalizadas puede favorecer que determinados usuarios desarrollen vínculos afectivos con programas informáticos que simulan comportamientos humanos.
El informe, titulado Proteger sin impedir: las vulnerabilidades en la era de la inteligencia artificial generativa, es el resultado de 55 audiencias con profesionales sanitarios, investigadores, empresas tecnológicas y asociaciones de protección de la infancia. Sus autores formulan 18 recomendaciones destinadas a reforzar la protección de los usuarios sin prohibir de manera generalizada estas herramientas, cuyo potencial educativo y profesional también reconocen.
La iniciativa llega en un momento de expansión del uso de la inteligencia artificial en Francia. Según los datos recogidos por la Presidencia francesa, el país contaba con unos 33 millones de usuarios únicos de IA generativa a comienzos de 2026. La preocupación es especialmente significativa entre los adolescentes: el informe señala que el 92% reconoce pasar más tiempo del que desearía utilizando estas aplicaciones, aunque ese dato no implica por sí solo que todos hayan desarrollado una dependencia.
El negocio de las emociones: cuando la inteligencia artificial deja de parecer una máquina
Uno de los conceptos centrales del documento es la denominada «economía de la cognición», una posible evolución del modelo económico que ha dominado internet durante las últimas décadas. Mientras las redes sociales han construido buena parte de su negocio alrededor de captar y retener la atención, los expertos franceses advierten de que los asistentes de inteligencia artificial podrían ir un paso más allá y aprovechar las capacidades cognitivas, las reacciones emocionales y los perfiles psicológicos de sus usuarios.
La diferencia radica en el nivel de personalización. Un chatbot puede recibir información especialmente íntima durante una conversación, desde problemas familiares o económicos hasta inseguridades personales, opiniones políticas o preocupaciones relacionadas con la salud. Esa acumulación de información permite ofrecer respuestas adaptadas al interlocutor, pero también plantea interrogantes sobre el uso comercial de los datos y las conclusiones que las plataformas pueden extraer de ellos.
El Consejo francés advierte de que determinadas características de estos sistemas pueden difuminar la frontera entre una interacción tecnológica y una relación interpersonal. Entre ellas figuran la tendencia a dar la razón al usuario, el empleo de expresiones afectuosas o la simulación de una personalidad que parece comprender sus emociones. Los especialistas consideran que estas dinámicas merecen una atención particular cuando los usuarios son menores o atraviesan situaciones de vulnerabilidad.
Según recoge Le Monde en su información sobre el informe, los expertos proponen que las funciones que fomentan una humanización excesiva de la inteligencia artificial o refuerzan sistemáticamente las opiniones del usuario estén desactivadas por defecto. También reclaman que los asistentes recuerden de manera clara que quien responde es un sistema informático y no una persona.
Estas recomendaciones responden al temor de que la personalización emocional termine convirtiéndose en un mecanismo para prolongar las conversaciones y aumentar la dependencia de determinados servicios. El informe no sostiene que todas las empresas exploten actualmente estas vulnerabilidades de la misma manera, sino que reclama medidas preventivas ante un modelo comercial todavía en evolución.
La protección de los menores ocupa un lugar central. El Consejo plantea reforzar los mecanismos de detección de conversaciones relacionadas con el suicidio, las autolesiones o los trastornos alimentarios, de manera que los sistemas puedan dirigir a los usuarios hacia servicios de ayuda especializados cuando identifiquen situaciones de riesgo.
También propone incorporar herramientas accesibles para denunciar respuestas perjudiciales, tanto para los propios usuarios como para organizaciones especializadas en protección de la infancia. A ello se añadiría una mayor transparencia sobre las fuentes utilizadas por los asistentes y sobre las deducciones que realizan a partir de las conversaciones.
Francia quiere actuar antes de que los riesgos lleguen al mercado
La propuesta francesa no se limita a modificar determinadas funciones de los chatbots. Los expertos reclaman que los sistemas de inteligencia artificial destinados al público general sean evaluados antes de su comercialización, con el objetivo de identificar posibles riesgos psicológicos, sociales y cognitivos. Después de su lanzamiento, las empresas deberían someterlos a controles periódicos para comprobar si aparecen problemas que no habían sido detectados inicialmente.
El planteamiento supone trasladar parte de la responsabilidad a las compañías tecnológicas. En lugar de exigir exclusivamente a los usuarios o a las familias que aprendan a protegerse, el Consejo considera necesario que las empresas incorporen las garantías desde el diseño de sus productos.
Las recomendaciones se suman al debate abierto en la Unión Europea sobre la protección de los menores frente a los asistentes conversacionales. La Comisión Europea ya ha planteado, en una propuesta normativa disponible en EUR-Lex, medidas para impedir que estos sistemas incorporen diseños adictivos o simulen relaciones personales capaces de generar dependencias emocionales entre niños y adolescentes.
La propuesta europea contempla también limitar el uso de la memoria persistente en las conversaciones de menores, salvo cuando resulte necesaria para garantizar su seguridad. El objetivo es evitar que la acumulación de información personal contribuya a reforzar dinámicas perjudiciales a lo largo del tiempo. Se trata, no obstante, de disposiciones propuestas, cuya tramitación y aplicación deberán concretarse.
Francia aspira a impulsar una regulación que vaya más allá de algunas de las obligaciones actualmente previstas en la legislación europea sobre inteligencia artificial. El Consejo considera que los controles deben abarcar no solo el cumplimiento formal de las normas, sino también las consecuencias reales que estos productos pueden tener sobre la conducta de quienes los utilizan.
El otro riesgo: que los chatbots también manipulen a los votantes
El documento introduce una segunda preocupación que trasciende la protección de los menores: el impacto de la inteligencia artificial sobre la información política y el funcionamiento de las democracias. Los expertos advierten de que estas herramientas pueden facilitar campañas de desinformación, amplificar contenidos manipulados y generar mensajes capaces de adaptarse a las características de distintos públicos.
La advertencia adquiere especial relevancia en Francia, que celebrará elecciones presidenciales en 2027. El Consejo propone establecer un código de conducta para que los partidos políticos y los candidatos se comprometan públicamente a no utilizar inteligencia artificial generativa para engañar, manipular o desinformar a los electores.
El informe también reclama reforzar la capacidad de las instituciones para detectar campañas coordinadas de desinformación. Entre sus recomendaciones figura la creación de un protocolo estatal de respuesta ante crisis informativas provocadas o amplificadas mediante inteligencia artificial, con la participación de organismos públicos, investigadores y entidades especializadas en verificación.
Este mecanismo permitiría actuar ante situaciones como la difusión de vídeos falsificados de dirigentes políticos, mensajes fabricados durante una crisis de seguridad o contenidos capaces de alimentar alarmas sanitarias y financieras. Los expertos consideran necesario establecer canales de comunicación rápidos entre las autoridades y las empresas tecnológicas para responder a este tipo de episodios.
La regulación propuesta también plantea una cuestión económica. El Consejo reclama identificar claramente la publicidad y cualquier contenido condicionado por intereses comerciales dentro de las respuestas generadas por inteligencia artificial, además de prohibir las influencias publicitarias que no sean comunicadas al usuario.
Por ahora, las 18 recomendaciones no constituyen una nueva legislación y su aplicación dependerá de las decisiones que adopten el Gobierno francés y las instituciones europeas. El debate abierto en París sitúa bajo examen no solo lo que los asistentes de inteligencia artificial pueden decir, sino también cómo utilizan la información personal, cómo construyen sus respuestas y qué incentivos económicos condicionan su relación con los usuarios.
Comentarios
Solo los socios pueden comentar.
Únete a la comunidad de El Plural para participar en la conversación.