Una formula matematica è in grado di prevedere quando un chatbot basato sull'intelligenza artificiale rischia di cambiare il suo comportamento passando dal dare risposte appropriate al dare risposte potenzialmente pericolose, che inducono per esempio all'autolesionismo o al danneggiamento di terzi.

Questo strumento, descritto sulla rivista Patterns, è stato sviluppato negli Stati Uniti da due fisici della George Washington University e in futuro potrebbe portare allo sviluppo di una sorta di spia integrata negli smartphone per avvertire l'utente quando la conversazione virtuale rischia di prendere una china pericolosa.

I chatbot sono soggetti a scarsi controlli di sicurezza volti a garantire che non forniscano informazioni o risposte potenzialmente in grado di incoraggiare l'autolesionismo, perdite finanziarie o idee estremiste, specialmente quando operano offline. Gli strumenti di sicurezza su cui le grandi aziende fanno affidamento per i propri algoritmi di IA si basano solitamente sul cloud, oppure rilevano un malfunzionamento dell'IA solo quando il dispositivo torna online e il danno è già stato fatto. I due fisici Neil F. Johnson e Frank Yingjie Huo hanno dunque cercato di prevedere il malfunzionamento prima che si verificasse.

"Abbiamo individuato la falla che fa sì che l'output di un'IA passi da ciò che si desidera a ciò che non si desidera: un output che può essere fattualmente corretto ma pericoloso, che si tratti di un incitamento all'autolesionismo o di consigli fuorvianti", spiega Johnson. "Finora nessuno sapeva dire quando si sarebbe verificato questo cambiamento".

Testando le loro previsioni su sette modelli di IA disponibili sul mercato e realizzati da tre aziende diverse, i ricercatori hanno riscontrato che il modello ha individuato correttamente la 'svolta critica' dell'IA in 18 casi su 19.