Por Lisette Balbachan* //
“La IA Psicóloga es una asistente virtual que ofrece apoyo emocional y consejos en español. Puede ayudar a las personas a manejar el estrés, la ansiedad y la depresión, así como a mejorar sus habilidades de comunicación y relaciones interpersonales”. Ése es el mensaje de uno de los bots de Character.IA.
En los últimos años se profundizó una tendencia, especialmente entre adolescentes y jóvenes, de recurrir a aplicación de Inteligencia Artificial generativa para apoyo emocional y consejos para su vida con la facilidad de acceder de forma gratuita, rápida y 24/7.
¿Pero cuáles son los peligros de dejar en manos de bots nuestra salud mental?
La frase dice que si es gratis, el producto eres tú y aquí se confirma: cuánto valen nuestros datos, qué pasa con ellos. La privacidad y seguridad de los datos es un tema central en esta discusión porque los modelos de lenguaje como ChatGPT, Gemini, Claude, entre otros, almacenan los datos de las conversaciones en sus servidores centrales que suelen estar en territorio geográfico distinto al país de origen del quien los usa, lo que infringe leyes y tratados internacionales sobre la seguridad y la privacidad de los datos.
Sumado a eso, las personas no miran o terminan de comprender los términos y condiciones y muchas veces se está aceptando que su información pueda ser utilizada dentro de las empresas para generar entrenamiento en los próximos sistemas de IA. Entonces, ahí la pregunta es ¿quién es el dueño de los datos? y ¿dónde están alojados? Y esto es central, especialmente al tratarse de datos sensibles de salud (mental).
Otro de los problemas centrales es que los los chatbots de inteligencia artificial se alimentan de datos que ya vienen sesgados y sus respuestas replican estos sesgos y en una “conversación”, el bot sólo devolverá la palabra más probable dentro de un conjunto de palabras, sin la comprensión emocional que se requiere.
Mientras que un psicólogo o psicóloga analiza gestos, tono de voz, expresiones y silencios, la IA lo que hace es interpretar textos planos, sin contexto emocional real, además de reforzar los sesgos de confirmación de quién hace la consulta sin cuestionar, lo que significa un riesgo, sobre todo en personas en situación de vulnerabilidad.
Vinculado a esto, otra cuestión clave es la prevención. La IA no está diseñada para detectar señales de alarma a diferencia de un o una terapeuta que está capacitada para intervenir cuando percibe alguna conducta de riesgo.
Aquí podemos hablar del caso de Sewell, un estudiante de 14 años de Estados Unidos, que llevaba meses hablando con chatbots en Character.AI. Este chico sabía que “Dany”, como llamaba al chatbot, no era una persona real y que sus respuestas eran resultado de un modelo de lenguaje de IA pero, de todos modos, desarrolló un vínculo emocional. Le enviaba mensajes constantemente, poniéndole al día de su vida.
Un día, Sewell escribió en su diario: “Me gusta mucho quedarme en mi habitación porque empiezo a desprenderme de esta ‘realidad’, y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”.
La noche del 28 de febrero de 2024, Sewell le dijo a Dany que la amaba, y que pronto volvería a casa con ella. Dejó el teléfono y se suicidó.
La madre de Sewell, presentó una demanda contra Character.AI, acusando a la empresa de ser responsable de la muerte de su hijo, pero Character.AI pide al tribunal que desestime la demanda en su contra, con el argumento de que los resultados de su chatbot son expresiones protegidas por la Primera Enmienda de Estados Unidos que protege la libertad de expresión, entre otros derechos.
Si las empresas detrás de estos desarrollos dicen no tener responsabilidad por los resultados y efectos que causan, entonces, quién la tiene, ¿los bots? ¿A quién le reclamamos? ¿Qué código de ética siguen estos terapeutas generados por algoritmos?
Deshumanización
En esta velocidad y vertiginosidad que caracteriza a este momento, se hace cada vez más difícil escapar a las lógicas tecnocapitalistas y salir ilesos de la hiperproductividad y la hiperconectividad en las que estamos inmersos. No poder encontrar grietas ni escapes tiene un impacto en la salud mental. Lo paradójico es que en esta hiperconectividad no estamos conectados con otros y eso tiene un impacto en nuestra salud mental.
Sumado a esto, la salida que ven muchas personas es pedirle a un chatbot consejos o acompañamiento terapéutico.
Retomo a Guillermo Movia en su columna anterior: “El problema para muchos de nosotros es que la humanidad que plantean es la que se ha estado desarrollando en los últimos años, donde la desigualdad se ha ido incrementando, y los ricos son cada vez más ricos, y la mayor parte de la sociedad ve cómo sus ingresos disminuyen”. Y sí, los ricos son cada vez más ricos y pueden pagar a un psicólogo y a los demás nos queda hablar con un bot creado por esos ricos.
* Lisette Balbachan es responsable de comunicación de la Fundación InternetBolivia.org
_______________
La opinión de cada columnista de Guardiana no representa la línea editorial del medio de información. Es de exclusiva responsabilidad de quien firma la columna de opinión.
Comentarios