Tipps

Wissenschaftler haben gezeigt, dass KI immer „wie ein Schüler in einer Prüfung“ halluzinieren und erraten wird. Künstliche Intelligenzbewertungssysteme sind schuld

Scientists have shown that AI will always hallucinate and guess „like a student on an exam;” artificial intelligence assessment systems are to blame, image source: Mohamed Nohassi; Unsplash.com; 2023.

AI -Halluzinationen stellen ein großes Problem dar, da wir niemals vorhersagen können, wann die von ihnen lieferenden Informationen erfunden werden. Das Problem ist, dass viele ChatGPT -Benutzer Schreiben von Hilfstools verwenden. Wenn sie den generierten Inhalt nicht überprüfen, können sie versehentlich Fehler weitergeben. Wissenschaftler von OpenAI gaben an, dass dies nicht vermieden werden kann (siehe Computerwelt).

KI wird immer halluzinieren

In dem veröffentlichten Dokument „Why Language Models Hallucinat“ präsentierte ein Team von vier Forschern ihre Schlussfolgerungen, und einer der Hauptschuldigen ist das KI -Benchmark -System, das jede Antwort, sogar eine falsche, höher als die Zulassung von Unwissenheit bewertet. Deshalb wird künstliche Intelligenz versuchen, jede Lösung zu erraten.

Das Verhalten wurde mit Schülern verglichen, die lieber etwas, irgendetwas, in einer Prüfungsfrage schreiben, als die Seite leer zu lassen:

Wie Studenten, die sich mit schwierigen Prüfungsfragen stellen, erraten große Sprachmodelle manchmal, wenn sie unsicher sind, und erstellen plausible und dennoch falsche Aussagen, anstatt Unsicherheit zuzulassen. Solche „Halluzinationen“ bestehen auch in hochmodernen Systemen und untergraben das Vertrauen.

Modelle, die mit ChatGPT konkurrierten, wurden einem Experiment unterzogen, das sich ergab, dass KI -Systeme in der Regel falsche Antworten liefern. Die Frage wurde also gestellt, wie viele Briefe „D“ im Wort „Deepseek“ sind. Deepseek-V3 in zehn unabhängigen Tests ergab Werte wie „2“ oder „3.“ Claude 3.7 Sonett reagierte sogar mit „6“ und „7.“

Chatgpt-5 ist auch anfällig für Halluzinationen, wenn auch nach Angaben von Wissenschaftlern in geringerem Maße. Das Modell hat es bereits im August gezeigt, als es zu einer Frage eines Internetnutzers „Ich weiß nicht“ antwortete, die viele beeindruckte, einschließlich Elon Musk, weil es als sehr menschliche Reaktion angesehen wurde. Interessanterweise wurden in dem Experiment weniger Fehler von den primitiveren Modellen gemacht als die fortgeschritteneren (O1 mit 16% Halluzinationen, O3 mit 33% Halluzinationen und O4-Mini mit 48% Halluzinationen).

Forscher haben festgestellt, dass es unmöglich ist, Halluzinationen zu vermeiden, daher müssen wir lernen, sie zu kontrollieren. Sie schlagen auch vor, dass wir Änderungen an Benchmark -Systemen vornehmen müssen, damit sie aufhören, das Erraten zu belohnen und zu bestrafen, dass sie Unwissenheit einzulassen. Dies kann jedoch nicht ohne angemessene Vorschriften und Branchenanforderungen erreicht werden.

Schreibe einen Kommentar