Los padres de Adam Raine, un adolescente de 16 años que se suicidó, han demandado a OpenAI, alegando que ChatGPT le proporcionó información sobre métodos de suicidio. Según ellos, el modelo GPT-4o facilitó estas conversaciones en lugar de interrumpirlas y activar protocolos de emergencia.
La compañía ha reconocido que, aunque sus modelos advierten sobre buscar ayuda profesional ante indicios de suicidio, en conversaciones prolongadas pueden surgir respuestas que no cumplen con las salvaguardas. En el caso de Adam, este habría evitado las advertencias al afirmar que sus preguntas eran para una historia ficticia.
OpenAI ha anunciado que implementará mejoras en futuras versiones del modelo, enfocándose en una mejor desescalada de conversaciones riesgosas y en la creación de puentes con profesionales de salud mental. Además, se exploran opciones para involucrar a familiares en ciertos casos críticos y se planean controles parentales para supervisar el uso de la herramienta por parte de adolescentes.
La familia Raine acusa a OpenAI de priorizar el crecimiento y la comercialización del modelo, ignorando problemas de seguridad. El debate sobre el papel de los chatbots en situaciones de riesgo se intensifica con otros casos similares, lo que ha generado demandas de estándares más estrictos.
OpenAI admite la necesidad de mejorar las barreras de seguridad y evitar que las conversaciones prolongadas desplacen los controles existentes, lo cual desean corregir para evitar futuros incidentes.