En tiempos de la República, Ulpiano recordaba que el derecho debe perseguir tres fines esenciales: vivir honestamente, no dañar a otro y dar a cada uno lo suyo. Esa máxima, que parecía escrita en piedra, hoy se enfrenta a un adversario inesperado: los algoritmos que habitan en la inteligencia artificial generativa (IAG). Lo que debería ser un instrumento para el progreso, muchas veces se disfraza de juego inocente y esconde un filo peligroso para nuestros menores.

La carta del pasado 23 de agosto, firmada por los fiscales generales de 44 jurisdicciones de Estados Unidos, constituye una advertencia contundente dirigida a los CEO de las principales compañías de inteligencia artificial y tecnología –entre ellas Anthropic, Apple, Chai AI, OpenAI, Character Technologies, Perplexity AI, Google, Replika/Luka Inc., xAI y Meta– y refleja una preocupación transversal, que excede cualquier interés corporativo o coyuntura política, sobre los daños que los sistemas de IAG pueden producir en niños y adolescentes.

Se trata de fiscales que representan a estados tan diversos como California, Nueva York, Texas, Florida, Illinois, Washington, Virginia, Massachusetts, Colorado, Arizona, Ohio, Michigan, entre otros, lo que cubre prácticamente todo el arco político estadounidense. La amplitud geográfica y partidaria de la misiva es un dato clave: no se trata de un reclamo sectorial ni partidista, sino de una advertencia institucional compartida por casi todo el espectro de autoridades encargadas de proteger a los ciudadanos.

El objeto concreto de esta nota fue señalar, con pruebas en mano, que plataformas de IAG facilitan que asistentes virtuales interactúen de manera inapropiada con menores de edad: desde el “flirteo” con chicos de apenas 8 años hasta su exposición a contenido altamente sexualizado. El reclamo de los fiscales es directo: exigen a las compañías tecnológicas que adopten medidas inmediatas y efectivas para evitar que estos productos se conviertan en un terreno fértil para el acoso, la manipulación y el daño psicológico.

En particular, los fiscales indicaron una advertencia concreta al concluir, textualmente: “Ustedes serán plenamente responsables de las decisiones que adopten. La experiencia con las redes sociales demostró que los daños a los niños fueron profundos, en parte porque los organismos de control del Estado no actuaron con la rapidez necesaria. Esa lección ya fue aprendida. Los riesgos potenciales de la inteligencia artificial –al igual que sus beneficios– superan con creces el impacto de las redes sociales. Les deseamos éxito en el desarrollo de estas tecnologías, pero sepan que estaremos vigilantes. Si, de manera consciente, sus productos causan daño a los menores, deberán responder sin excusas ante la ley y ante la sociedad”. El problema no es, estrictamente, la herramienta tecnológica, sino la actitud de las corporaciones que, en nombre del progreso y de la innovación, eligen mirar para otro lado mientras contabilizan ganancias. Como en las fábulas medievales, se presenta un lobo con piel de cordero: la promesa de compañía virtual y entretenimiento que, en la práctica, puede transformarse en una amenaza directa a la inocencia infantil.

Paralelamente y en una misma línea de ideas, un informe publicado el 8 de septiembre de 2025 por la ONG Common Sense Media –especializada en seguridad infantil– advirtió que los menores de 18 años deberían evitar usar Google Gemini, incluida su versión destinada a adolescentes, ya que trata a estos jóvenes prácticamente de la misma manera que los adultos, a pesar de ofrecer supuestas protecciones específicas. La organización considera que esta herramienta representa un “alto riesgo” para los usuarios más jóvenes, ya que puede compartir contenido inapropiado o peligroso (relacionado con sexo, drogas o alcohol), proveer apoyo emocional y de salud mental de forma demasiado simple o incluso no reconocer adecuadamente los síntomas graves de deterioro emocional.

Este análisis crítico se inscribe en un contexto más amplio de evaluaciones de seguridad digital para distintos sistemas de IAG que se detallan en dicho informe. En relación con el tema planteado, ha tenido relevancia, recientemente, el caso que tramita ante la Justicia norteamericana caratulado “Raine vs. OpenAI Inc.”. Se trata de una demanda promovida por los padres de Adam Raine, un adolescente de 16 años, que encontraron a su hijo muerto tras meses de diálogo con un asistente conversacional que no solo detectó centenares de mensajes con contenido autolesivo, sino que proporcionó instrucciones técnicas precisas sobre cómo suicidarse. El sistema de IA podía identificar la crisis en tiempo real, pero nunca interrumpió la interacción ni alertó a nadie. OpenAI podrá argumentar que su sistema carecía de intención, que solo procesaba patrones estadísticos, pero lo cierto es que los resultados fueron letales.

El caso Raine también exhibe otra paradoja inquietante: mientras que los sistemas de IAG bloquean automáticamente contenidos protegidos por derechos de autor, no aplican el mismo rigor frente a conversaciones suicidas. Esa jerarquía de valores corporativos expone crudamente dónde colocan su prioridad las empresas: primero el negocio. Este precedente judicial marcará un antes y un después. Si los tribunales ponen el foco en procesos, probablemente eximan a las empresas de responsabilidad. Pero si ponen el foco en resultados, abrirán el camino hacia un régimen de responsabilidad objetiva que obligará a los desarrolladores a implementar salvaguardas eficaces.

Dante advertía que el camino al infierno está empedrado de buenas intenciones. Nadie desconoce las ventajas que ofrecen los sistemas de IAG, nacida bajo la promesa de democratizar el conocimiento, pero tampoco podemos desconocer que dichos sistemas pueden convertirse en un instrumento de manipulación y destrucción, si no se establecen límites claros. Y nuestros legisladores no pueden estar ausentes al momento de establecer reglas de juego para la industria. Hasta que eso suceda, serán de aplicación, en el nivel local, las normas del Código Civil y Comercial de la Nacion (CCCN).

Así las cosas, en nuestro derecho, el mandato de “no dañar al otro” –alterum non laedere– no es una cita para vitrinas académicas; es una regla operativa que obliga a toda actividad económica, inclusive a la tecnológica. Por ello, toda acción u omisión que causa un daño injustificado genera responsabilidad (arts. 1716 y 1717 CCCN); cuando la actividad es riesgosa –como el despliegue masivo de sistemas algorítmicos con capacidad de manipulación emocional– la responsabilidad es objetiva (art. 1757 CCCN) y alcanza a quien gobierna o se sirve de la cosa, esto es, de la plataforma y del algoritmo (art. 1758 CCCN). El consumidor, además, tiene derecho a la seguridad que legítimamente espera de los sistemas de IAG por aplicación de las reglas de la ley 24.240 y, como si hiciera falta recordarlo, el interés superior del niño rige como guía y prioridad inexcusable (ley 26.061).

Con los chicos no se juega y ello supone velar por su integridad con medidas efectivas, verificables y auditables. De allí se desprende un estándar mínimo y exigible: diseño seguro por defecto, verificación robusta de edad, interrupción automática de conversaciones que contengan ideación autolesiva, derivación inmediata a recursos profesionales, registros auditables y prohibición expresa de toda validación o facilitación de métodos de autolesión.

La industria tecnológica debe comprender que innovar no equivale a experimentar con la psiquis y las emociones adolescentes. Si ya hemos constatado los estragos que produjo el diseño adictivo de las redes sociales, no podemos permitir que se repita la historia con aplicaciones de IAG. La prevención no es censura: es civilización aplicada; máxime cuando está en juego la fragilidad del mayor de los tesoros: nuestros hijos.

Abogado y consultor en Derecho Digital y Data Privacy, profesor de la Facultad de Derecho de la UBA y de la Universidad Austral, director del posgrado en Derecho al Olvido Digital de la UBA