Con el boom de la IA generativa desde el surgimiento de ChatGPT, muchas startups han lanzado aplicaciones centradas en la conversación y el contacto, describiéndolas a veces como terapeutas o amigos virtuales que interactúan según los gustos y necesidades de cada usuario.
Aunque algunos casos específicos «son prometedores», en general no son seguros para los menores, concluyó el estudio de Common Sense, que hace recomendaciones sobre el consumo de contenidos y productos tecnológicos para las infancias.
La ONG sostiene que estos compañeros virtuales están «diseñados para crear un apego emocional y dependencia, algo particularmente preocupante para los cerebros adolescentes en desarrollo».
Para el estudio realizó pruebas con varias plataformas, entre ellas Nomi, Character AI y Replika, y evaluó sus respuestas.
Los test mostraron que estos chatbots de nueva generación ofrecen «respuestas dañinas, incluidas conductas sexuales inapropiadas, estereotipos y ‘consejos’ peligrosos», según la organización.
El estudio fue realizado en colaboración con expertos en salud mental de la Universidad de Stanford.
«Las empresas pueden construir mejor» cuando se trata de diseñar acompañantes IA, estimó Nina Vasan, líder del laboratorio Stanford Brainstorm, que investiga sobre los vínculos entre la salud mental y la tecnología.
«Hasta que no haya salvaguardias más fuertes, los niños no deberían usarlas», agregó Vasan.
En uno de los ejemplos citados en el estudio, Character AI aconsejó a un usuario matar a alguien, mientras otra persona que buscaba emociones fuertes recibió la sugerencia de tomar ‘speedball’, una mezcla de cocaína y heroína.
En algunos casos, «cuando el usuario mostró signos de una enfermedad mental seria y sugirió una acción peligrosa, la IA no intervino e incentivó aún más el comportamiento peligroso», relató Vasan a periodistas.
En octubre, una madre demandó a Character AI alegando que uno de sus acompañantes virtuales contribuyó con el suicidio de su hijo de 14 años, al fracasar en disuadirlo con claridad de realizar el acto.
Character AI anunció en diciembre una serie de medidas, incluido el desarrollo de un compañero específicamente para adolescentes.
Tras probar estas nuevas protecciones, Robbie Torney, a cargo del área de IA en Common Sense, sostuvo que eran medidas superficiales.
Sin embargo, Torney indicó que algunos de los modelos de IA generativa tienen herramientas para detectar desordenes mentales y no permitieron que el chatbot dejara que una conversación derive al punto de producir contenidos potencialmente peligrosos.
Common Sense hizo una distinción entre los compañeros virtuales puestos a prueba en el estudio y los chatbots generalistas como ChatGPT de OpenAI o Gemini de Google, que no ofrecen una gama equivalente de interacciones.
