La inteligencia artificial ha conquistado todos los rincones de Internet, lo que antes era una mera herramienta de apoyo digital, ahora es una parte más integrada en webs y redes sociales. A pesar de que la evolución de la IA traiga ventajas también acarrea un lado oscuro: los deepfakes y la violencia digital. Este martes, con motivo del Día Internacional de Internet Segura, el Ministerio de Juventud e Infancia ha llevado a cabo un encuentro en el que se han abordado las amenazas que implica la presencia de inteligencias artificiales como Grok, creada por Elon Musk, en el entorno digital de los usuarios de redes sociales.
La fusión entre redes sociales y las nuevas herramientas tecnológicas como es el caso de la IA, han abierto una puerta a una nueva forma de generar violencia sin dejar huella física. La facilidad con la que la sociedad actual puede difundir contenidos falsos como los deepfakes –imágenes editadas mediante IA para que parezcan reales-, ocasionan un gran impacto tanto psicológico como emocional en las víctimas. Estos ataques de violencia son complicados de recurrir puesto que no existe una ley específica para ellos, a medida que han ido creciendo, aquellas víctimas con casos más graves han recurrido a otras vías como la vulneración de derecho al honor, la intimidad o la propia imagen, destacando los casos de mujeres y menores.
La violencia digital también deja secuelas reales
En relación con dicha violencia y como uno de los focos principales del encuentro, las asistentes han confirmado que la violencia que se ejerce en el entorno digital no puede seguir tratándose como un fenómeno secundario. “Es una violencia igual que la que hay en la calle”, ha afirmado la analista política Sarah Santaolalla, quien ha destacado que este debate no se limita al contexto español, sino que se reproduce a escala mundial. La ministra de Juventud e Infancia, Sira Rego, ha insistido en que el espacio físico y el digital están completamente entrelazados, por lo que las agresiones que se producen en redes sociales tienen consecuencias directas en la vida cotidiana de las víctimas.
En esta línea, la abogada e influencer Carla Galeote ha rechazado la idea de que este tipo de prácticas puedan ampararse bajo el paraguas de la libertad de expresión. “No estamos hablando de discrepancia ni de opinión, estamos hablando de violencia digital con la que se agrede y se amedrenta a mujeres”, ha manifestado. Para las participantes, el uso de herramientas tecnológicas para humillar, silenciar o sexualizar responde a factores estructurales como el machismo, la falta de educación sexual y el desconocimiento generalizado sobre cómo operan realmente las plataformas digitales.
Menores expuestos a contenidos sexuales y violentos
Uno de los ejes centrales del debate ha sido la situación de los menores en redes sociales. Según los datos abordados durante la charla, entre más de tres millones de usuarios analizados se detectaron al menos 23.000 menores de edad expuestos a contenidos de autolesiones, agresiones sexuales, pornografía o imágenes generadas por inteligencia artificial con una fuerte carga sexual. Santaolalla, ante este dato, ha advertido de que este tipo de material resulta "especialmente dañino" durante la infancia y la adolescencia, etapas clave del desarrollo emocional.
Sira Rego, además, ha alertado de la relación entre la explotación infantil y la adicción a las pantallas, señalando que los algoritmos convierten a los usuarios en “rehenes de burbujas digitales” diseñadas para maximizar el tiempo de consumo. En este contexto, las ponentes han recordado a los oyentes que la mayoría de los agresores en redes sociales no son menores, sino personas adultas que aprovechan el anonimato y la falta de control para ejercer violencia sin consecuencias inmediatas.
Grok y la normalización de los deepfakes sexuales
Esta violencia digital no solo se queda en el plano teórico. Uno de los ejemplos más recientes es el caso de Grok, la inteligencia artificial desarrollada por la empresa de Elon Musk e integrada en la red social X. A comienzos de 2026, el uso de esta herramienta para generar imágenes falsas de mujeres se disparó, especialmente a través de peticiones como “ponla en bikini” o “desnúdala”, lo que derivó en la creación masiva de deepfakes de carácter sexual sin consentimiento.
La experta Genevieve Oh confirmó en declaraciones a Bloomberg que, en los días de mayor actividad, se llegaron a generar hasta 6.500 imágenes por hora. A pesar de estas críticas, Musk optó por mantener el acceso a la herramienta mediante un modelo de pago. Ante este escenario, las participantes han defendido la regulación como una condición necesaria para garantizar la libertad en el entorno digital. “Regular un espacio es sinónimo de que ese espacio pueda ser libre”, ha afirmado Galeote, quien ha advertido de que la ausencia de normas solo beneficia a quienes ejercen la violencia. No obstante, ha insistido en que la regulación resulta insuficiente si no va acompañada de una educación digital y sexual que permita comprender los riesgos y dinámicas de las redes sociales.
Entre las medidas planteadas, ha destacado la necesidad de revisar el anonimato en las plataformas, ya que gran parte de las agresiones se producen bajo perfiles sin identificar. Las ponentes han coincidido en que no se trata de caer en el paternalismo, sino de establecer límites claros que reduzcan los espacios de impunidad y protejan a las víctimas.
El Estado frente al poder de las plataformas
Desde el Gobierno, Sira Rego ha defendido la necesidad de construir un marco normativo que convierta el entorno digital en un espacio tan seguro como cualquier espacio público físico. “Ninguna empresa puede estar por encima de la ley, de las libertades y de los derechos”, ha expresado, señalando que durante años han sido los propietarios de las plataformas quienes han dictado las reglas del juego. En algunos casos, ha añadido que será necesario incluso cerrar determinadas redes sociales si no garantizan la protección de los usuarios.
Este posicionamiento se sitúa en un contexto en el que la legislación avanza a un ritmo mucho más lento que el desarrollo de la inteligencia artificial como ha indicado la ministra. En España, el Consejo de Ministros ha incluido recientemente el uso y la difusión de deepfakes entre las conductas susceptibles de vulnerar el derecho al honor, la intimidad personal y la propia imagen. A nivel europeo, la Comisión ha iniciado una investigación contra X por la posible vulneración de la Ley de Servicios Digitales, mientras que países como Turquía, Indonesia o Malasia han optado por bloquear el acceso a Grok.
El debate sobre la protección de los menores se ha intensificado tras el anuncio del presidente del Gobierno, Pedro Sánchez, de impulsar una medida para limitar el acceso a las redes sociales a los menores de 16 años. Durante la charla, las asistentes han coincidido en la idea de que la regulación es imprescindible, pero insuficiente si no va acompañada de educación. Galeote ha destacado de que “no sirve de nada regular las redes si en el entorno no hay educación”, mientras que Santaolalla ha recordado que el foco no debe ponerse únicamente en los menores, sino también en los adultos y en los propietarios de las plataformas. “Hay que empezar por los dueños”, ha manifestado recordando que son las empresas tecnológicas las que diseñan algoritmos que priorizan el beneficio económico frente a la protección.
Sin miedo no hay libertad
El encuentro ha concluido con una advertencia clara: no puede hablarse de libertad en un entorno donde el miedo condiciona la participación. “No hay libertad cuando se tiene miedo”, ha sentenciado la analista política, aludiendo a un espacio digital en el que muchas mujeres optan por el silencio para evitar ataques. Según datos expuestos durante la charla, una de cada tres niñas ha visto desnudos no deseados en Internet, mientras que las grandes plataformas obtienen una parte significativa de sus ingresos gracias a la presencia de menores en sus redes.
Las ponentes terminaron afirmando que, “si no se actúa de forma colectiva, la violencia digital corre el riesgo de normalizarse”.