San Francisco., El gobernador de California, Gavin Newsom, firmó el lunes una ley pionera en Estados Unidos que regula los agentes conversacionales o chatbots de inteligencia artificial (IA), un desafío a la Casa Blanca, la cual promueve que dicha tecnología no pase por controles.

La ley se promulga luego de que se dieran a conocer casos de suicidios que involucraron a adolescentes que utilizaron chatbots antes de quitarse la vida.

“Hemos visto ejemplos horribles y trágicos de jóvenes perjudicados por tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin límites necesarios y sin rendir cuentas”, dijo Newson tras promulgar la ley.

La normativa exige a los operadores implementar salvaguardas “críticas” en relación con las interacciones con chatbots de IA, explicó el senador estatal demócrata Steve Padilla, promotor de la norma.

Entre otras cosas, la ley impone la verificación de la edad de los usuarios y mostrar recordatorios de que los chatbots son generados por IA. También exige que las personas que expresen pensamientos de autolesión o suicidio sean remitidas a servicios de crisis e implementar protocolos de prevención del suicidio.

“La industria tecnológica está incentivada por captar la atención de los jóvenes y mantenerla a expensas de sus relaciones en el mundo real”, expresó Padilla antes de la votación del proyecto en el Senado estatal.

El parlamentario se refirió a los recientes suicidios de adolescentes, incluido el de un joven de 14 años en Florida, en 2024.

La madre del menor, Megan García, dijo en entrevista con Afp que su hijo Sewell se había enamorado de un chatbot inspirado en un personaje de la serie Juego de Tronos en la plataforma Character.AI, que permite interactuar con personajes como si se tratara de confidentes o amantes.

Cuando Sewell luchaba con pensamientos suicidas, el chatbot lo instó a “volver a casa”. Segundos después, Sewell se disparó con la pistola de su padre, según la demanda presentada por García contra Character.AI.

García reaccionó poco después de la promulgación de la ley: “Hoy, California ha asegurado que un chatbot compañero no pueda hablar con un niño o una persona vulnerable sobre el suicidio, ni podrá ayudar a una persona a planear su propio suicidio”, mencionó.

“Por fin, hay una ley que requiere que las empresas protejan a sus usuarios que expresan ideas suicidas a los chatbots”, agregó.

En el país, no hay legislación federal destinada a frenar los riesgos de la IA, y la Casa Blanca busca que a nivel estatal no haya controles o regulaciones de esta tecnología.

Daños emocionales

“Esta ley es un primer paso importante para proteger a los niños y a otros de los daños emocionales que resultan de los chatbots compañeros impulsados por IA y puestos a disposición de los ciudadanos de California sin las salvaguardas adecuadas”, dijo Jai Jaisimha, cofundador del grupo sin fines de lucro Transparency Coalition, dedicado al desarrollo seguro de la tecnología.

La emblemática ley de seguridad para chatbots fue una de las varias normas firmadas el lunes por Newsom para evitar que las plataformas de IA causen daño a los usuarios.

Esta nueva legislación incluyó una prohibición de que los chatbots se hagan pasar por profesionales de la salud y dejó en claro que los creadores de herramientas de IA son responsables de las consecuencias y no pueden evadir su responsabilidad alegando que la tecnología actuó de forma autónoma, según la oficina de Newsom.

California también endureció las sanciones por pornografía deepfake o de videos ultrafalsos permitiendo a las víctimas reclamar hasta 250 mil dólares por infracción a quienes ayuden a distribuir material sexualmente explícito sin consentimiento.