Κινέζοι επιστήμονες υποστηρίζουν ότι ανέπτυξαν το πρώτο «εγκεφαλοειδές» μεγάλο γλωσσικό μοντέλο τεχνητής νοημοσύνης στον κόσμο, αντίστοιχο του ChatGPT, σχεδιασμένο να καταναλώνει λιγότερη ενέργεια και να λειτουργεί χωρίς τα τσιπ της Nvidia.

Το μοντέλο τεχνητής νοημοσύνης, με την ονομασία SpikingBrain1.0, μιμείται τον τρόπο με τον οποίο ο ανθρώπινος εγκέφαλος ενεργοποιεί μόνο τα απαραίτητα νευρικά κύτταρα, σύμφωνα με τους ερευνητές της Κινεζικής Ακαδημίας Επιστημών.

Τα μεγάλα γλωσσικά μοντέλα που χρησιμοποιούνται ευρέως σήμερα, όπως το ChatGPT και το LLaMA της Meta, βασίζονται στον λεγόμενο νόμο της κλίμακας, σύμφωνα με τον οποίο η απόδοση ενός συστήματος τεχνητής νοημοσύνης βελτιώνεται όσο αυξάνεται το μέγεθος των δεδομένων και του ίδιου του μοντέλου.

Ο εγκέφαλος ως πρότυπο: Από την καθολική προσοχή στη στοχευμένη εστίαση

Αυτά τα μοντέλα λειτουργούν μέσω μιας τεχνικής που ονομάζεται «attention» (προσοχή), όπου το σύστημα επεξεργάζεται ταυτόχρονα όλα τα λέξεις μιας πρότασης για να εντοπίσει ποιες είναι πιο σημαντικές για την πρόβλεψη της επόμενης λέξης.

Για παράδειγμα, στην πρόταση «Η γάτα μπήκε κάτω από το κρεβάτι όταν είδε τον ξένο γιατί φοβήθηκε», το ChatGPT μπορεί να κατανοήσει ότι το «φοβήθηκε» αναφέρεται στη γάτα, αναλύοντας όλη την πρόταση ταυτόχρονα.

Ωστόσο, όσο πιο μεγάλο είναι το κείμενο (π.χ. ένα ολόκληρο βιβλίο), τόσο αυξάνεται η κατανάλωση ενέργειας και ο χρόνος επεξεργασίας, καθώς το μοντέλο συγκρίνει κάθε λέξη με κάθε άλλη.

Το τίμημα της ισχύος: κόστος, ενέργεια και εξάρτηση από την Nvidia

Σύμφωνα με τους επιστήμονες, αυτά τα μοντέλα αντιμετωπίζουν σοβαρά εμπόδια, όπως:

• Εξαιρετικά υψηλό κόστος εκπαίδευσης

• Υψηλή κατανάλωση ενέργειας

• Πολύπλοκες διαδικασίες υλοποίησης και ανάπτυξης

Επιπλέον, τα περισσότερα από τα ευρέως χρησιμοποιούμενα μοντέλα είναι κατασκευασμένα αποκλειστικά για επεξεργασία με κάρτες γραφικών της Nvidia, γεγονός που περιορίζει το ποιοι μπορούν να τα αναπτύξουν.

«Η ανάπτυξη μεγάλων μοντέλων σε πλατφόρμες υπολογιστικής ισχύος πέραν της Nvidia θέτει σημαντικές προκλήσεις», έγραψαν οι επιστήμονες.

Μια νέα προσέγγιση: έμπνευση από τους βιολογικούς μηχανισμούς

Για να ξεπεράσουν τους περιορισμούς αυτούς, οι ερευνητές δηλώνουν ότι ανέπτυξαν ένα νέο μοντέλο που αντλεί έμπνευση από τη λειτουργία του ανθρώπινου εγκεφάλου.

Αντί να επεξεργάζεται ολόκληρο το κείμενο, το SpikingBrain εστιάζει μόνο στις γειτονικές λέξεις, όπως κάνει ο ανθρώπινος εγκέφαλος όταν δίνει σημασία στο πρόσφατο πλαίσιο σε μια συνομιλία. Αυτό επιτρέπει, σύμφωνα με τους δημιουργούς του, σημαντική εξοικονόμηση ενέργειας χωρίς απώλεια ακρίβειας.

Χρησιμοποιώντας αυτή τη μέθοδο προσοχής, το SpikingBrain1.0 μπορεί να είναι 25 έως 100 φορές ταχύτερο από τα κλασικά μοντέλα AI, υποστηρίζουν οι επιστήμονες.

Τέλος στην εξάρτηση από την Nvidia: εγχώριο chip MetaX

Ένα ακόμη χαρακτηριστικό του νέου μοντέλου είναι ότι δεν βασίζεται σε chips της Nvidia, αλλά λειτουργεί στην κινεζική πλατφόρμα MetaX, όπως σημειώνεται στη μελέτη.

Από την πρώτη προεδρία του Ντόναλντ Τραμπ, οι ΗΠΑ έχουν επιβάλει αυστηρούς περιορισμούς στις εξαγωγές τεχνολογίας προς την Κίνα, αποκλείοντάς την από εργαλεία απαραίτητα για την παραγωγή εξελιγμένων chips για servers, AI και άλλες προηγμένες εφαρμογές.

Η εταιρεία που επηρεάστηκε περισσότερο από αυτές τις κυρώσεις είναι η αμερικανική Nvidia, παγκόσμιος ηγέτης στον σχεδιασμό εξειδικευμένων chip για τεχνητή νοημοσύνη.

Ως απάντηση, η Κίνα επιτάχυνε την ανάπτυξη ενός αυτόνομου οικοσυστήματος τεχνητής νοημοσύνης, με το SpikingBrain να αποτελεί εμβληματικό παράδειγμα αυτής της στρατηγικής.

Απόδοση με λιγότερα δεδομένα, ίδιο αποτέλεσμα

Σε αντίθεση με το ChatGPT και άλλα μοντέλα που απαντούν με βάση ολόκληρα δίκτυα δεδομένων, το SpikingBrain λειτουργεί επιλεκτικά, απαντώντας μόνο όπου υπάρχει ανάγκη.

Αυτό, σύμφωνα με τη μελέτη, επιτρέπει συνεχή προεκπαίδευση με λιγότερο από 2% των δεδομένων, διατηρώντας όμως απόδοση συγκρίσιμη με τα κορυφαία μοντέλα ανοικτού κώδικα.

Οι επιστήμονες ισχυρίζονται ότι το SpikingBrain ξεπερνά σε ταχύτητα τα παραδοσιακά μοντέλα έως και 100 φορές, σε ορισμένες περιπτώσεις.

«Ο εγκέφαλος του μέλλοντος»: Τι δείχνει αυτή η καινοτομία

«Η συνολική εργασία καταδεικνύει το δυναμικό των εγκεφαλοειδών μηχανισμών να οδηγήσουν τη σχεδίαση της επόμενης γενιάς αποδοτικών και επεκτάσιμων μεγάλων μοντέλων», καταλήγουν οι επιστήμονες.

Το SpikingBrain1.0 δεν είναι απλώς ένα ακόμη μοντέλο AI, αλλά ένα δείγμα της γεωπολιτικής καινοτομίας στην τεχνολογία, με την Κίνα να στοχεύει στη δημιουργία πλήρως αυτόνομου συστήματος τεχνητής νοημοσύνης, ανεξάρτητου από τις αμερικανικές υποδομές και εταιρείες.