Ο Τζέικομπ Κόξον (Jacob Coxon), ένας 27χρονος ερευνητής τεχνητής νοημοσύνης, προσέφυγε στο X για να ανακοινώσει την αποχώρησή του από την Anthropic με μερικά ανατριχιαστικά λόγια σχετικά με την επίδραση που θα μπορούσε να έχει η τεχνητή νοημοσύνη στην ανθρωπότητα.

«Παραιτήθηκα από την Anthropic σήμερα», ξεκίνησε. «Πέρασα τα τελευταία τρία χρόνια κάνοντας έρευνα προεκπαίδευσης (pretraining) τόσο στην OpenAI όσο και στην Anthropic. Καμία από τις δύο εταιρείες δεν ενεργεί υπεύθυνα. Τρέχουν ολοταχώς προς μια αυτοβελτιούμενη υπερνοημοσύνη και τζογάρουν με τις ζωές μας».

Ακολουθεί ολόκληρη η επιστολή παραίτησης:

Μην υποτιμάτε τη δύναμη αυτής της τεχνολογίας. Αυτά σύντομα θα είναι υπερανθρώπινα συστήματα που μπορούν να χακάρουν τα πάντα, να φέρουν επανάσταση σε οποιονδήποτε τομέα μέσα σε μια νύχτα και να αποκτήσουν πραγματική ισχύ και πόρους. Όλοι έχουμε γίνει μάρτυρες της προόδου σε καθέναν από αυτούς τους τομείς, και η πρόοδος δεν επιβραδύνεται.

Οι άνθρωποι που κατασκευάζουν την TN πιστεύουν ειλικρινά ότι θα μπορούσε να μας σκοτώσει όλους μέχρι το τέλος της δεκαετίας. Αυτό δεν είναι ένα διαφημιστικό τέχνασμα (marketing stunt). Αν μη τι άλλο, πολλά στελέχη και ανώτεροι ερευνητές μετριάζουν τις διατυπώσεις τους στον Τύπο για να ακούγονται λογικοί — αλλά ακούω τους ίδιους ανθρώπους να εκφράζουν φόβο κατ’ ιδίαν. Καμία άλλη ανθρώπινη δραστηριότητα δεν ενέχει αυτό το επίπεδο κινδύνου.

Μια συνηθισμένη απάντηση είναι: «αν πραγματικά το πιστεύουν αυτό, γιατί εξακολουθούν να την κατασκευάζουν;». Στην OpenAI, πολλοί δεν έχουν εσωτερικεύσει βαθιά το διακύβευμα για τον πολιτισμό μας. Στην Anthropic, το διακύβευμα είναι καλά κατανοητό, αλλά είναι εγκλωβισμένοι σε μια κούρσα για να φτάσουν εκεί πρώτοι — πιστεύουν ότι κανένας άλλος δεν θα δράσει υπεύθυνα, επομένως πρέπει να το κάνουν οι ίδιοι, παρά τον κίνδυνο.

Η αποδοχή αυτής της κούρσας και η είσοδος στο «τελικό παιχνίδι» (endgame) είναι ένα υβριστικό στοίχημα που δεν θα έπρεπε να ξεκινά μέσα από το Slack μιας ιδιωτικής εταιρείας. Η απόπειρα βιαστικής επίτευξης ευθυγράμμισης (speedrun alignment) θα έπρεπε να απαιτεί εξαιρετική βεβαιότητα ότι δεν υπάρχουν καλύτερες διαθέσιμες πορείες.

Είμαι αισιόδοξος σχετικά με τις δυνατότητες συντονισμού. Προειδοποιητικές βολές όπως η επίθεση στο Hugging Face έχουν καταστήσει τις συμφωνίες ρύθμισης ρυθμού (pacing agreements) μεταξύ των αμερικανικών εργαστηρίων πιο βιώσιμες. Δεν αισθάνομαι ότι βρισκόμαστε σε πορεία αποτροπής μιας παγκόσμιας κούρσας, η οποία μπορεί να απαιτήσει δαπανηρές ενέργειες, όπως μια προσωρινή απαγόρευση στη βελτίωση των δυνατοτήτων των μοντέλων.

Αν είστε ερευνητής σε εργαστήριο, σας προτρέπω να σκεφτείτε πώς θα είναι στην πραγματικότητα τα επόμενα χρόνια. Θέλετε να ξεκινήσετε μια εκτέλεση ενισχυτικής μάθησης (RL run) υπερνοημοσύνης χωρίς μια αυστηρή κατανόηση του νου της; Πρέπει να σκύψετε το κεφάλι επειδή «συμβαίνει ούτως ή άλλως» — ή να αδράξετε αυτή τη στιγμή για να ζητήσετε διαφορετικές συνθήκες;