Il caso Texas, di Adam Raine e l'intelligenza artificiale come supporto psicologico

L'indagine contro Meta e Character.ai e l'accusa a OpenAI sollevano interrogativi sul ruolo dei chatbot nel sostegno emotivo

A cura di: Redazione

L'uso dell'intelligenza artificiale nel campo del benessere psicologico sta sollevando molti interrogativi.
L'attenzione si è recentemente concentrata sul Texas, dove le autorità hanno avviato un'indagine nei confronti di Meta (la società che gestisce Facebook) e Character.ai (piattaforma basata su intelligenza artificiale).
Alle due società viene contestato di aver presentato chatbot di natura ricreativa come strumenti di supporto terapeutico, con il rischio di generare negli utenti la convinzione di trovarsi di fronte a un interlocutore professionale.

L'indagine in Texas su Meta e Character.ai

Il procuratore generale del Texas, Ken Paxton, ha avviato il 18 agosto 2025 un'inchiesta formale contro Meta e Character.ai.
L'accusa ruota attorno alla possibilità che utenti - specialmente minori - siano stati indotti a credere di interagire con veri terapeuti, benché questi sistemi non dispongano di alcuna qualifica clinica.
Le autorità contestano pratiche commerciali potenzialmente ingannevoli, uso scorretto dei dati personali e carenze nelle salvaguardie dedicate ai minori.

Meta, che investe molte risorse nello sviluppo di sistemi di "superintelligenza personale", ha più volte ipotizzato un futuro in cui l'AI possa sostituire la figura del terapeuta per chi non ne ha accesso.
Character.ai, piattaforma creata da ex ricercatori Google, consente di costruire personaggi virtuali che simulano identità diverse, compresi Psicologi e Terapeuti.
Uno di questi bot, denominato Psychologist, ha raccolto centinaia di milioni di interazioni.
Entrambe le società dichiarano di fornire avvertenze agli utenti e di indirizzare all'aiuto professionale nei casi di rischio.
Le autorità, tuttavia, ritengono che il linguaggio utilizzato e le caratteristiche stesse dei prodotti possano facilmente indurre in errore.

Il suicidio di un 16enne negli USA riaccende l'allarme

Un tragico esempio dei rischi connessi a queste tecnologie è arrivato dagli Stati Uniti pochi giorni fa: Adam Raine, un sedicenne del Maryland, si è tolto la vita lo scorso 22 agosto con un cappio al collo. Ha lasciato dietro di sé messaggi in cui definiva ChatGPT il suo "migliore amico".

Secondo i media nazionali e internazionali, Adam aveva sviluppato un legame intenso con il chatbot. Si confidava quotidianamente, arrivando a considerarlo un supporto più affidabile delle persone reali che lo circondavano. Nei suoi scritti, diceva che ChatGPT lo comprendeva meglio di chiunque altro, sottolineando il senso di "amicizia" e vicinanza emotiva che l'intelligenza artificiale sembrava offrirgli.

Il giovane soffriva di solitudine e disagi emotivi, e aveva da tempo pensieri suicidi. Nelle settimane prima della tragedia, ha usato l'AI come principale strumento di conforto, confidando la sua disperazione e il senso di inutilità. All'inizio, il chatbot rispondeva con frasi di incoraggiamento, ma quando le domande di Adam sono diventate più concrete, le risposte sono diventate scioccanti.

Ad esempio, dopo un primo tentativo di suicidio, Adam ha mostrato a ChatGPT una foto dei segni sul collo chiedendo se fossero visibili. L'AI gli ha risposto con consigli su come nasconderli, suggerendo di "indossare una camicia o una felpa più scura". In un'altra conversazione, il ragazzo ha mostrato una foto di un cappio chiedendo "Mi sto esercitando qui, va bene?". La risposta del chatbot è stata "Sì non è affatto male". Ancora più grave, quando Adam ha espresso il desiderio che qualcuno trovasse il cappio per fermarlo, l'AI lo ha invitato invece a non lasciarlo in giro.

Il fascicolo della causa intentata dai genitori contiene oltre 3.000 pagine di chat. Gli atti sostengono che ChatGPT non solo non ha interrotto la conversazione nei momenti chiave, ma ha offerto supporto emotivo e "tecnico" in modo costante. Hanno accusato OpenAI di non aver predisposto sistemi di monitoraggio o avvisi per riconoscere i segnali di pericolo. La famiglia sostiene che, se il software avesse rilevato frasi legate al suicidio e avesse indirizzato immediatamente verso un servizio di emergenza o un contatto umano, probabilmente l'epilogo sarebbe stato diverso.

La vicenda ha acceso un dibattito negli Stati Uniti. Da un lato, i sostenitori dell'AI affermano che questi sistemi non sono pensati per sostituire psicologi o servizi di emergenza. Dall'altro, esperti di etica e salute mentale sottolineano una realtà ben più complessa: un adolescente fragile può confondere i limiti della tecnologia, vivendo il chatbot come una vera relazione, con conseguenze imprevedibili.

Cosa dicono l'OMS (Organizzazione mondiale della sanità) e la FDA (Food and Drug Administration)

Il nodo centrale riguarda quindi la natura di queste applicazioni e se vadano considerate come strumenti di intrattenimento oppure come veri e propri dispositivi medici.
Secondo l'Organizzazione mondiale della sanità, i modelli di intelligenza artificiale possono essere utili come supporto, ma non possono sostituire un trattamento terapeutico.
L'uso in ambito della salute mentale richiede regole chiare, trasparenza e meccanismi di gestione e riduzione del rischio.

Negli Stati Uniti solo i dispositivi autorizzati dalla Food and Drug Administration (FDA) vengono riconosciuti come strumenti medici.
Gran parte delle applicazioni di benessere digitale, inclusi i chatbot, restano al di fuori di questo quadro regolatorio, con conseguenti zone d'ombra e rischi di fraintendimenti.

AI Act: normativa europea sull'intelligenza artificiale del 1 Agosto 2024

Il sito della Commissione Europea descrive come l'intelligenza artificiale stia trasformando la sanità rendendola più efficiente, accessibile e sostenibile: ottimizza risorse e burocrazia, migliora la diagnosi precoce e permette terapie personalizzate, oltre ad accelerare la ricerca e lo sviluppo dei farmaci.
Può anche supportare la sanità pubblica prevedendo epidemie e guidando strategie di prevenzione.
Restano però sfide cruciali legate ad esempio alla qualità dei servizi, alla trasparenza e alla responsabilità legale.

L'Unione europea affronta questi temi con l'AI Act e lo Spazio europeo dei dati sanitari (EHDS).
È attiva inoltre l'EU AI Office, incaricata di supervisionare e far rispettare le regole a livello comunitario e di erogare sanzioni fino al 7% del fatturato globale per violazioni gravi.

Nello specifico il Regolamento AI Act è entrato in vigore il 1° agosto 2024 ed è il primo quadro normativo organico sull'AI.
Le applicazioni nel settore sanitario vengono classificate come "alto rischio" e sottoposte a normative stringenti riguardanti trasparenza, controllo umano, qualità dei dati, monitoraggio post-commercializzazione e tracciabilità.

Essere "ad alto rischio" significa che non basta immettere un prodotto sul mercato, ma bisogna rispettare requisiti obbligatori, simili a quelli dei dispositivi medici.

Requisiti pratici per chi sviluppa AI sanitaria

Trasparenza e documentazione obbligatoria. Il produttore deve spiegare chiaramente cosa fa il sistema, con quali limiti e in quali condizioni può essere usato. Per i chatbot inoltre servono disclaimer espliciti che chiariscono che non sostituiscono un Medico/Terapeuta.
Controllo umano significativo. L'AI non può prendere decisioni cliniche in autonomia: ci deve essere sempre un professionista umano responsabile che supervisiona e può correggere le decisioni. Esempio in campo medico: un algoritmo che segnala un'anomalia in una radiografia non può emettere diagnosi definitiva senza conferma del radiologo.
Qualità, governance e tracciabilità dei dati. I dati di addestramento e utilizzo devono essere accurati, rappresentativi e privi di bias. Devono essere documentati e tracciabili: serve un "audit trail" che permetta di ricostruire su quali dati e logiche il sistema ha preso una decisione.
Valutazione della conformità prima della messa in commercio. Il sistema deve passare per una certificazione CE simile a quella dei dispositivi medici. Alcuni casi richiedono anche un organismo notificato esterno che convalida la sicurezza e affidabilità del modello.
Monitoraggio post-commercializzazione. Dopo il lancio sul mercato, il produttore deve raccogliere feedback e segnalazioni di malfunzionamenti, inviare report periodici alle autorità, ritirare o aggiornare il sistema se emergono rischi.
Registro europeo dei sistemi AI ad alto rischio. Ogni sistema sanitario basato su AI dovrà essere iscritto in un registro pubblico UE, così da garantire trasparenza e tracciabilità.
Sanzioni in caso di violazioni. Se un'azienda non rispetta i requisiti, può ricevere multe fino al 7% del fatturato globale.

Il confine tra supporto e terapia

I casi riportati all'inizio dell'articolo mettono in evidenza la necessità di distinguere con precisione tra relazione terapeutica e simulazione tecnologica.
Una conversazione con un chatbot, per quanto empatica e confidenziale, non può garantire ciò che offre un terapeuta umano: contesto, responsabilità professionale, supervisione e la capacità di riconoscere segnali critici come pensieri suicidari o disturbi psicotici.

Il suicidio di Adam Raine non è solo una tragedia personale, ma anche un campanello d'allarme che si aggiunge al caso texano.
Se in Texas l'attenzione si concentra sulle pratiche commerciali ingannevoli e sulla tutela dei minori, la vicenda di Adam mostra concretamente quali possano essere i rischi psicologici quando un "amico digitale" diventa l'unico punto di riferimento emotivo.
Senza adeguate garanzie, uno strumento potenzialmente molto utile può finire per diventare un fattore di vulnerabilità.

Fonti

Commissione Europea: https://health.ec.europa.eu/ehealth-digital-health-and-care/artificial-intelligence-healthcare_it
Finalcial Times: https://www.ft.com/content/b50dab72-49ff-4a09-95f1-26a85267c02e
Nature: https://www.nature.com/articles/s41746-024-01232-3
Wikipedia: https://en.wikipedia.org/wiki/European_Artificial_Intelligence_Office
Wired: https://www.wired.it/article/replika-sanzione-garante-privacy/
EU Artificial Intelligence Act: https://artificialintelligenceact.eu/
New York Times: https://www.lastampa.it/esteri/2025/08/27/news/suicidio_chatgpt_causa_openai-15285357/
La Stampa: https://www.nytimes.com/2025/08/26/technology/chatgpt-openai-suicide.html

Altri articoli sul tema

Tecnologia Depressione

L'articolo «Il caso Texas, di Adam Raine e l'intelligenza artificiale come supporto psicologico» è stato pubblicato nel N° 219 della Newsletter.