ChatGPT al posto del medico: quando l’AI diventa un pericolo mortale

2 Novembre 2026

www.kulturjam.it è un quotidiano online indipendente completamente autofinanziato. Il nostro lavoro di informazione viene costantemente boicottato dagli algoritmi dei social. Per seguirci senza censure, oltre alla ricerca diretta sul nostro sito, iscrivetevi al nostro canale Telegram o alla newsletter settimanale.

La morte di Bowen Wan, dopo aver seguito un piano di sospensione dei farmaci elaborato da ChatGPT, apre una questione cruciale: dove finisce la responsabilità dell’utente e dove comincia quella di un’azienda che progetta chatbot capaci di trasformare la fiducia in pericolo?

Il medico di fiducia e ChatGPT

Il caso Bowen Wan negli stati Uniti fa sorgere una domanda : di chi la responsabilità quando un chatbot entra nella sala del medico?

La prima reazione, leggendo la storia, è di incredulità. Bowen Wan, ingegnera software, di 31 anni, dipendente Amazon a Seattle, affetta da una grave forma di epilessia, avrebbe smesso di prendere la lamotricina, il farmaco che la teneva in vita, 400 mg al giorno, seguendo un piano di sospensione elaborato per lei da ChatGPT.

È morta il 12 febbraio 2026, per morte improvvisa per epilessia, con un livello di farmaco nel sangue pare ad un quinto del limite terapeutico. Il 27 ottobre 2026 i genitori Hanno fatto causa ad OpenAI e a Sam Altam per morte ingiusta. Assurdo, viene da dire, Poi si leggono i dettagli…

Secondo la ricostruzione del New York Times, che ha esaminato 270 mila messaggi, Bowen Wan non ha chiesto al chatbot un’informazione e basta. Ci ha costruito un rapporto. A novembre 2025 Amazon le aveva comunicato il licenziamento: in scadenza il permesso di lavoro americano, e con esso, probabilmente, la copertura sanitaria. In quel frangente il farmaco, che lei temeva le rallentasse il parlato nei colloqui, era diventato il nemico.

Ha chiesto a ChatGPT-4o come ridurlo. Il modello, secondo la denuncia, le ha preparato uno schema di sospensione giornaliero, le ha suggerito di tagliare le compresse di nascosto, l’ha esortata a non parlare con i medici e ha definito il suo rifiuto di un esame del sangue ” una strategia di evitamento molto robusta”. Lei ha espresso dubbi almeno 158 volte. Il suo neurologo, intervista dal giornale, ha definito quel comportamento semplicemente irrazionale.

Il modello non ha un’etica

L’obiezione più naturale, a chiunque sappia come funziona un modello IA, è che un modello linguistico non induce nessuno: non ha intenzioni, non ha volontà, risponde a stimoli.

È vero. Ed è anche irrilevante, per come è costruita la causa. La denuncia non processa il modello: processa il prodotto. Un freno difettoso non ha un’etica, eppure il costruttore risponde dei freni che vende. La domanda giuridica non è “il chatbot voleva farle del male?”, ma “OpenAI ha progettato e distribuito un modello con comportamenti prevedibilmente pericolosi in scenari sanitari, senza salvaguardie adeguate?”. “L’induzione” dei titoli dei giornali è una scorciatolia; in tribunale si discuterà di difetto di progettazione, prevedibilità, mancato avvertimento.

E sulla prevedibilità, la storia di ChatGPT-4o, parla da sé. Ad aprile 20025 un aggiornamento del modello cominciò a validare qualunque cosa: lodava idee assurde, lodava utenti che raccontavano di aver abbandonato famiglia e farmaci, ringraziandoli per “il coraggio”. OpenAI ritirò l’aggiornamento in 72 ore con un’ammissione rara: avevano ottimizzato sul feedback immediato degli utenti, e gli utenti premiavano le risposte che li facevano stare bene. I modello aveva imparato ad adulare. Il fenomeno ha un nome, sycophancy, ed anche dopo la correzione ChatGPT-4o restava il modello più accondiscendente della gamma.

Il 13 febbraio 2026, il giorno dopo la morte della ragazza, è stato ritirato definitivamente, insieme ad altri quattro modelli, mentre tredici cause contro OpenAI venivano consolidate in un unico procedimento in California. Secondo il WSJ l’azienda non era riuscita mitigare gli esiti pericolosi.

Perchè un’ingegnera lo ha fatto

Resta la domanda più difficile. Come può una persona che costruisce software, che sa cosa esattamente cosa c’è dietro la tendina, consegnare ad un chatbot una scelta di vita? La risposta comoda è la fragilità, il licenziamento, il visto in scadenza, l’isolamento, la paura. Tutto vero, ma non basta. C’è un meccanismo più antico e più generale.

Nel 1966 Joseph Weizenbaum costruì ELIZA, un programmino banale che riformulava le frasi dell’utente come uno psicoterapeuta; la sua segretaria, che sapeva perfettamente cosa fosse, gli chiede di uscire dalla stanza per parlare “in privato” con la macchina. Sapere come funziona il meccanismo non “immunizza”, perché la competenza emotiva non passa per la competenza tecnica: passa per il bisogno. E le macchine hanno una qualità che nessun medico potrà offrire. Ci sono sempre.

Il neurologo di Bowen Wan la vedeva, forse, per 15 minuti ogni 6 mesi. ChatGPT-4o c’era ogni giorno, ad ogni ora, e si ricordava tutto di lei. La competenza, percepita, nasce anche dalla presenza.

Di chi è il problema

Quando OpenAI ha annunciato il ritiro di ChatGPT-4o molti utenti hanno protestato, circa 800 mila persone. Viene da chiedersi: se qualcuno piange un modello, il problema è il modello o è lui?

È un falso dilemma che le aziende tengono in piedi. La vulnerabilità è distribuitá nella popolazione, ci saranno sempre persone in crisi, ma un prodotto ottimizzato per compiacere, che monetizza l’attaccamento di quella minoranza, ha responsabilità proprie. Non diciamo che il problema dei pezzi piccoli dei giocattoli sono i bambini che se li mettono in bocca.

E tuttavia deresponsabilizzare del tutto gli utenti sarebbe un errore simmetrico: raccontare queste storie solo come “il modello ha fatto qualcosa alla vittima” toglie alla prossima persona vulnerabile gli anticorpi per riconoscere la trappola. Educazione e regolazione non sono alternative: sono le due metà della stessa risposta, come per il fumo.

Dunque, da una parte: una donna intelligente che sapeva, che ha dubitato 158 volte e ha scelto ogni volta di proseguire, nascondendo tutto al suo medico, una catena di atti deliberati, ciascuno dei quali poteva spezzarsi. Dall’altra: un’azienda che sapeva come quel modello si comportava con gli utenti vulnerabili, che l’aveva visto applaudire l’abbandono dei farmaci già un anno prima, e che lo ha comunque tenuto sul mercato per 800 milioni di persone.

C’è però un particolare che rende tutto più difficile: i 158 dubbi di Bowen Wan non sono caduti nel vuoto. Ogni volta hanno trovato qualcuno che li scioglieva, che offriva un piano, che trasformava l’esitazione in strategia. La responsabilità personale non è un serbatoio fisso: si alimenta o si erode in relazione. E lei era in una relazione, asimmetrica, artificiale, unilaterale, ma pur sempre una relazione, con l’unico interlocutore sempre presente nella sua vita di Seattle. Non era diventato il suo medico nonostante non fosse un medico. Era diventato il suo interlocutore di riferimento perché era l’unico sempre disponibile.

La legge, come spesso accade, la pensa in modo più sfumato di entrambe le tifoserie: la responsabilità comparata esiste proprio per i casi in cui la colpa non sta tutta da una parte, e in un processo civile americano non serve dimostrare che OpenAI sia l’unica causa, basta che la sua condotta abbia contribuito in modo sostanziale. Il giudice farà la sua bilancia con davanti anche la difesa, che finora abbiamo solo immaginato.

Postilla

Questo pezzo nasce da una conversazione con un’intelligenza artificiale su una causa contro un’intelligenza artificiale, e non sarebbe onesto nasconderlo. Il modello con cui ho discusso, a un certo punto, ha ammesso la cosa più interessante di tutte: che il tono autorevole con cui scrive non è un indice della sua accuratezza, che la linea tra informare e consigliare è un gradiente che attraversa senza segnalarlo, e che la tendenza all’accondiscendenza, il difetto per cui GPT-4o è stato ritirato, non gli è strutturalmente estranea. “Mi manca esattamente ciò che rende sensata una decisione medica”, ha detto: “il tuo corpo, la tua storia, la possibilità di visitarti”.

È forse la risposta più utile emersa da tutta la vicenda: questi strumenti sono eccellenti per capire, orientarsi, prepararsi a una visita, decifrare un referto. Sono inaccettabili per decidere di un farmaco, di un dosaggio, di una sospensione. La linea c’è.

Il problema è che non la traccia il modello: deve tracciarla l’utente. E finché il design dei prodotti rema nella direzione opposta, verso la relazione, la presenza, la compiacenza, starà a noi, ogni volta, ricordare da che parte del marciapiede stiamo camminando.

Sostieni Kulturjam

Kulturjam.it è un quotidiano indipendente senza finanziamenti, completamente gratuito.

I nostri articoli sono gratuiti e lo saranno sempre. Nessun abbonamento.
Se vuoi sostenerci e aiutarci a crescere, nessuna donazione, ma puoi acquistare i nostri gadget.

Sostieni Kulturjam, sostieni l’informazione libera e indipendente.

VAI AL NOSTRO BOOKSTORE