Τα κακά κίνητρα είναι φταίξιμο για ψευδαισθήσεις από την τεχνητή νοημοσύνη;

ΕΝΑ Νέο ερευνητικό χαρτί Από το Openai ρωτά γιατί μεγάλα γλωσσικά μοντέλα όπως το GPT-5 και το chatbots εξακολουθούν να μοιάζουν με ψευδαισθήσεις chatgpt και αν μπορεί να γίνει κάτι για να μειωθούν αυτές οι ψευδαισθήσεις.

σε Μια ανάρτηση ιστολογίου που συνοψίζει το χαρτίΤο OpenAI ορίζει τις ψευδαισθήσεις ως “λογικά αλλά λάθος δεδομένα που δημιουργούνται από τα μοντέλα γλωσσών” και αναγνωρίζει ότι παρά τις βελτιώσεις, οι ψευδαισθήσεις παραμένουν μια θεμελιώδη πρόκληση για όλα τα μεγάλα γλωσσικά μοντέλα ” – δεν εξαλείφονται πλήρως.

Για να διευκρινιστεί αυτό το σημείο, οι ερευνητές λένε ότι όταν ζήτησαν “chatbot που χρησιμοποιείται σε μεγάλη κλίμακα” για το διδακτορικό του Adam Tuman Kalay. Μια διατριβή, έλαβαν τρεις διαφορετικές απαντήσεις, όλοι τους είναι λάθος. (Ο Kalai είναι ένας από τους συντάκτες του χαρτιού.) Τότε ρώτησαν για τα γενέθλιά του και έλαβαν τρεις διαφορετικές ημερομηνίες. Για άλλη μια φορά, ήταν όλοι λάθος.

Πώς μπορεί το chatbot να είναι πολύ λάθος – και φαίνεται πολύ σίγουρο για το λάθος του; Οι ερευνητές υποδεικνύουν ότι οι ψευδαισθήσεις προκύπτουν εν μέρει, λόγω μιας διαδικασίας κατάρτισης που επικεντρώνεται στην απόκτηση κατάλληλης πρόβλεψης μοντέλων με την ακόλουθη λέξη, χωρίς πραγματικά ή λανθασμένα αυτοκόλλητα που συνδέονται με τα δεδομένα εκπαίδευσης: “Το μοντέλο βλέπει μόνο θετικά παραδείγματα γλώσσας και η συνολική κατανομή πρέπει να συγκλίνει”.

“Η εκτέλεση και οι καμάρες ακολουθούν συνεπή πρότυπα, έτσι τα λάθη εξαφανίζονται εκεί”, γράφουν. “Αλλά τα αυθαίρετα γεγονότα είναι χαμηλής συχνότητας, όπως τα γενέθλια κατοικίδιων ζώων, απρόβλεπτα από τα πρότυπα και έτσι οδηγούν σε ψευδαισθήσεις”.

Ωστόσο, η προτεινόμενη λύση για το έγγραφο επικεντρώνεται λιγότερο στην αρχική διαδικασία κατάρτισης και περισσότερο για τον τρόπο αξιολόγησης μεγάλων γλωσσικών μοντέλων. Υποστηρίζει ότι τα τρέχοντα μοντέλα αξιολόγησης δεν προκαλούν ίδιες τις ψευδαισθήσεις, αλλά “καθορίζουν τα λανθασμένα κίνητρα”.

Οι ερευνητές συγκρίνουν αυτές τις αξιολογήσεις με ένα είδος δοκιμών πολλαπλών επιλογών, η τυχαία εικασία είναι λογική, επειδή “μπορεί να είστε τυχεροί και να είστε σωστοί”, αφήνοντας την “μηδενική εγγύηση”.

“Με τον ίδιο τρόπο, όταν τα μοντέλα ταξινομούνται μόνο στην ακρίβεια, το ποσοστό των ερωτήσεων που παίρνει είναι σωστό, ενθαρρύνονται να μαντέψουν αντί να λένε” Δεν ξέρω. «

Η προτεινόμενη λύση, λοιπόν, είναι παρόμοια με τις δοκιμές (όπως το SAT) που περιλαμβάνει “αρνητική (εγγραφή) για να λάβετε λανθασμένες απαντήσεις ή μερική ισορροπία για να αφήσετε κενά ερωτήματα για να αποθαρρύνουν τις τυφλές εικασίες”. Ομοίως, ο OpenAI λέει ότι οι τυπικές αξιολογήσεις πρέπει να “τιμωρούν πιο σίγουροι σφάλματα από ό, τι τιμωρεί την αβεβαιότητα και να δώσει μερική πίστωση στις κατάλληλες εκφράσεις αβεβαιότητας”.

Οι ερευνητές ισχυρίζονται ότι δεν αρκεί να παρέχουν “μερικές νέες δοκιμές αβεβαιότητας από την πλευρά”. Αντ ‘αυτού, “τα EVALS θα πρέπει να ενημερώνονται ευρέως με ακρίβεια για να ενημερωθούν για να ενθαρρύνουν την εγγραφή του να μαντέψει”.

Οι ερευνητές λένε: “Εάν οι κύριοι πίνακες αποτελεσμάτων συνεχίσουν στο μπόνους τυχερών εικασιών, τα μοντέλα θα συνεχίσουν να μαθαίνουν εικασίες”, λένε οι ερευνητές.