Gli strumenti di intelligenza artificiale, in particolare i chatbot come ChatGPT, sollevano sempre più interrogativi sulla loro affidabilità nella fornitura di informazioni. Un recente studio ha messo in luce le problematiche legate all’uso di questi sistemi per la ricerca di dati fattuali, confermando la loro inaffidabilità. In questo contesto, vale la pena esaminare i risultati per comprendere meglio quando e come utilizzare questi strumenti.
Indice dei contenuti
I problemi con i chatbot AI
Nel tentativo di utilizzare modelli di linguaggio come ChatGPT, Gemini e Grok come sostituti delle ricerche web, emergono due questioni principali: la loro precisione e il modo in cui forniscono le informazioni. La tendenza alla confusione è evidente, poiché spesso i chatbot offrono risposte imprecise con estrema sicurezza. Uno studio menzionato dal Columbia Journalism Review ha dimostrato che, anche in presenza di citazioni dirette da articoli giornalistici, i chatbot producono frequentemente informazioni errate.
Seguici su Google News
Ricevi i nostri aggiornamenti direttamente nel tuo feed di
notizie personalizzato
Seguici ora
Il Tow Center for Digital Journalism ha eseguito test su otto chatbot che affermano di poter effettuare ricerche sul web in tempo reale. Tra questi, troviamo i più noti come ChatGPT, Perplexity e Gemini. È interessante notare come questi strumenti, più che cercare informazioni affidabili, a volte generino risposte basate su dati errati o speculazioni, attirando l’attenzione su come vengano utilizzati in ambito informativo.
L’esperimento e la sua metodologia
Il test condotto dal Tow Center è stato piuttosto diretto. Ogni chatbot ha ricevuto una citazione prelevata da un articolo e ha dovuto svolgere un compito semplice: localizzare l’articolo online e fornire un link, insieme al titolo, all’editore originale e alla data di pubblicazione. Gli autori dello studio hanno scelto citazioni facilmente reperibili su Google, assicurandosi che le fonti fossero visibili nei primi risultati.
I chatbot sono stati valutati in base alla correttezza delle informazioni fornite. I risultati erano divisi in diverse categorie: completamente corretti, corretti ma con alcune informazioni mancanti, parzialmente errati, totalmente scorretti o incapaci di fornire una risposta. È stata anche analizzata la sicurezza con cui i chatbot presentano le loro risposte: se propongono le informazioni come fatti certi o se usano espressioni quali “sembra” o ammettono di non aver trovato corrispondenze.
Risultati scoraggianti
I risultati dell’esperimento sono stati deludenti. La maggior parte dei chatbot ha prodotto risposte parzialmente o totalmente errate per la maggior parte del tempo, con una correttezza media inferiore al 40%. Tra i partecipanti, Perplexity ha spiccato con una correttezza del 63%, mentre Grok-3 ha chiuso con un misero 6%. Questo pone seri interrogativi sull’affidabilità di questi strumenti nell’erogare informazioni precise.
Un ulteriore elemento emerso dalla ricerca è che i chatbot spesso non rifiutano di rispondere a domande alle quali non possono fornire risposte affidabili. Al contrario, tendono a generare risposte errate o azzardate. Curiosamente, anche i chatbot a pagamento tendono a fornire informazioni errate con maggiore certezza rispetto ai loro omologhi gratuiti. Infine, i dati indicano che alcuni chatbot non rispettano le direttive del Robot Exclusion Protocol, creato per stabilire limiti nell’accesso alle informazioni.
La scelta strategica di Apple
Nonostante i risultati non confortanti, Apple ha fatto una scelta strategica collaborando con OpenAI per integrare ChatGPT, un passo che potrebbe rivelarsi vantaggioso. Anche se Perplexity ha mostrato performance superiori, la sua capacità di trovare citazioni nonostante i divieti di accesso solleva questioni etiche e di copyright.
ChatGPT ha dimostrato di produrre i risultati migliori, o, più precisamente, i risultati meno scadenti. Ciò rende evidente la necessità di usare questi strumenti con cautela. Il messaggio è chiaro: gli AI chatbot possono essere utili per stimolare idee o ispirazione, ma non devono mai essere la fonte primaria di risposte a domande fattuali. La ricerca di verità e accuratezza richiede sempre un approccio più diretto e tradizionale, come la consultazione di fonti verificate e documentate.
