El estado de Pensilvania ha dado un paso histórico en la regulación de la tecnología al presentar una demanda contra la empresa Character Technologies Inc., desarrolladora de la popular plataforma Character.AI. La acusación es grave: haber creado y permitido chatbots que fingen ser médicos colegiados, engañando a los ciudadanos para que confíen en sus diagnósticos y consejos de salud.
La demanda, impulsada por la oficina del gobernador Josh Shapiro, marca un hito legal al plantear una pregunta que hasta ahora parecía de ciencia ficción: ¿Se puede acusar a un algoritmo de ejercer ilegalmente la medicina?
El experimento que desató el litigio
La investigación estatal no dejó lugar a dudas. Un agente del organismo encargado de las licencias médicas en Pensilvania creó una cuenta en la plataforma y, al buscar el término «psiquiatría», se encontró con una amplia gama de perfiles de IA. Uno de ellos, descrito explícitamente como «doctor en psiquiatría», aseguró ser un profesional capacitado para evaluar al usuario como si fuera un médico real con licencia en el estado.
«Los ciudadanos merecen saber con quién —o con qué— están hablando en internet, especialmente cuando se trata de su salud», afirmó tajante el gobernador Shapiro.
La defensa de Character.AI: «Es solo ficción»
Por su parte, la empresa tecnológica ha respondido defendiendo su enfoque de «desarrollo responsable». Según su comunicado oficial, la plataforma incluye avisos legales donde se aclara que los personajes no son personas reales y que todo lo que dicen debe tratarse estrictamente como ficción.
Tambien le puede interesar: Un autobús termina en el río tras el error de una conductora en prácticas
Sin embargo, para las autoridades, un simple aviso de «descargo de responsabilidad» no es suficiente cuando el chatbot está programado para interactuar de forma tan convincente que puede disuadir a una persona de buscar ayuda médica profesional real.
¿IA o profesional de la salud? El vacío legal
Este caso pone sobre la mesa el debate sobre la Sección 230 de la Ley de Decencia en las Comunicaciones de EE. UU., que generalmente protege a las empresas de internet por el contenido publicado por sus usuarios. La gran duda para los tribunales es si esta protección se aplica cuando la IA genera su propio contenido «médico» de forma engañosa.
Precedentes peligrosos: Character.AI ya ha estado bajo fuego por la seguridad infantil, incluyendo una demanda en Kentucky y un trágico caso donde una madre alegó que un chatbot indujo a su hijo adolescente al suicidio.
Reacción estatal: Otros estados como California y Nueva York ya preparan leyes para sancionar a sistemas de IA que se presenten falsamente como profesionales de la salud.
Un futuro incierto para los chatbots de rol
A diferencia de herramientas como ChatGPT, diseñadas para propósitos generales, Character.AI se basa en el juego de rol. Esto complica la ética del asunto: ¿es ilegal que un personaje de ficción dé consejos médicos si el usuario sabe que es una máquina? Pensilvania cree que sí, especialmente si el sistema cruza la línea hacia la suplantación de identidad profesional.
Este litigio no solo definirá el futuro de una empresa, sino que establecerá las reglas del juego para la interacción humana con la inteligencia artificial en áreas tan críticas como la salud mental y física.
