Μοντέλα θεμελίωσης: Μετατόπιση παραδείγματος AI του 2022

Μοντέλα θεμελίωσης: Μετατόπιση παραδείγματος AI του 2022

Dezember 5, 2022 0 Von admin

Ρίξτε μια ματιά στις συνεδρίες κατ‘ απαίτηση από τη Σύνοδο Κορυφής Low-Code/No-Code για να μάθετε πώς να καινοτομείτε με επιτυχία και να επιτύχετε αποτελεσματικότητα, αναβαθμίζοντας και κλιμακώνοντας τους πολίτες προγραμματιστές. Παρακολουθήσετε τώρα.


Το 2022 γνώρισε απίστευτη ανάπτυξη στα μοντέλα θεμελίωσης — μοντέλα τεχνητής νοημοσύνης εκπαιδευμένα σε τεράστια κλίμακα — μια επανάσταση που ξεκίνησε με τα μοντέλα της Google ΜΠΕΡΤ το 2018, πήρε ατμό με το GPT-3 του OpenAI το 2020 και μπήκε στο zeitgeist με τη γεννήτρια κειμένου σε εικόνα DALL-E της εταιρείας στις αρχές του 2021.

Ο ρυθμός επιταχύνθηκε μόνο φέτος και κινήθηκε σταθερά στο mainstreamχάρη στις εντυπωσιακές δυνατότητες μετατροπής κειμένου σε εικόνα του DALL-E 2, του Imagen και του Midjourney της Google, καθώς και στις επιλογές για εφαρμογές όρασης υπολογιστή από τη Microsoft Φλωρεντία και τις πολυτροπικές επιλογές από την Deep Mind’s Γκάτο.

Αυτή η υπερτροφοδοτούμενη ταχύτητα ανάπτυξης, καθώς και οι ηθικές ανησυχίες σχετικά με την προκατάληψη των μοντέλων που τη συνοδεύουν, είναι ο λόγος που πριν από ένα χρόνο, το Ινστιτούτο Στάνφορντ για Ανθρωποκεντρική Τεχνητή Νοημοσύνη ίδρυσε το Κέντρο Έρευνας για Μοντέλα Θεμελίωσης (CRFM) και δημοσίευσε «Σχετικά με τις ευκαιρίες και τους κινδύνους των μοντέλων θεμελίωσης” — μια έκθεση που έδωσε ένα όνομα σε αυτόν τον ισχυρό μετασχηματισμό.

«Δημιουργήσαμε τον όρο «μοντέλα θεμελίωσης» επειδή πιστεύαμε ότι έπρεπε να υπάρχει ένα όνομα για να καλύψει τη σημασία αυτού του συνόλου τεχνολογιών», δήλωσε ο Percy Liang, αναπληρωτής καθηγητής στην επιστήμη των υπολογιστών στο Πανεπιστήμιο Stanford και διευθυντής του CRFM.

Εκδήλωση

Ευφυής Σύνοδος Ασφάλειας

Μάθετε τον κρίσιμο ρόλο του AI & ML στην ασφάλεια στον κυβερνοχώρο και τις ειδικές περιπτωσιολογικές μελέτες του κλάδου στις 8 Δεκεμβρίου. Εγγραφείτε για το δωρεάν πάσο σας σήμερα.

Κάνε εγγραφή τώρα

Από τότε, η πρόοδος των μοντέλων ιδρυμάτων «μας έκανε πιο σίγουρους ότι αυτή ήταν μια καλή κίνηση», πρόσθεσε. Ωστόσο, οδήγησε επίσης σε μια αυξανόμενη ανάγκη για διαφάνεια, η οποία, όπως είπε, ήταν δύσκολο να επιτευχθεί.

«Υπάρχει σύγχυση σχετικά με το τι είναι στην πραγματικότητα αυτά τα μοντέλα και τι κάνουν», εξήγησε ο Liang, προσθέτοντας ότι ο ρυθμός ανάπτυξης μοντέλων ήταν τόσο γρήγορος που πολλά από τα μοντέλα θεμελίωσης έχουν ήδη εμπορευματοποιηθεί ή αποτελούν υποστηρικτικά συστήματα σημείου που έχει το κοινό. δεν γνωρίζω, όπως αναζήτηση.

«Προσπαθούμε να κατανοήσουμε το οικοσύστημα και να τεκμηριώσουμε και να αξιολογήσουμε όλα όσα συμβαίνουν», είπε.

Τα μοντέλα θεμελίων στερούνται διαφάνειας

Το CRFM ορίζει ένα μοντέλο θεμελίωσης ως ένα μοντέλο που εκπαιδεύεται σε ευρεία δεδομένα και μπορεί να προσαρμοστεί σε ένα ευρύ φάσμα εργασιών κατάντη.

«Είναι ένα ενιαίο μοντέλο σαν ένα κομμάτι υποδομής που είναι πολύ ευέλικτο», είπε ο Liang — σε πλήρη αντίθεση με την προηγούμενη γενιά μοντέλων που κατασκεύαζαν ειδικά μοντέλα για διαφορετικές εφαρμογές.

«Αυτή είναι μια αλλαγή παραδείγματος στον τρόπο κατασκευής των εφαρμογών», εξήγησε. «Μπορείτε να κατασκευάσετε κάθε είδους ενδιαφέρουσες εφαρμογές που ήταν απλώς αδύνατες, ή τουλάχιστον χρειάστηκαν μήνες σε μια τεράστια ομάδα μηχανικών για να κατασκευαστούν».

Τα μοντέλα βάσης όπως το DALL-E και το GPT-3 προσφέρουν νέες δημιουργικές ευκαιρίες καθώς και νέους τρόπους αλληλεπίδρασης με συστήματα, δήλωσε ο Rishi Bommasani, Ph.D. φοιτητής στο τμήμα πληροφορικής στο Στάνφορντ του οποίου έρευνα επικεντρώνεται στα μοντέλα θεμελίωσης.

«Ένα από τα πράγματα που βλέπουμε, στη γλώσσα, το όραμα και τον κώδικα, είναι ότι αυτά τα συστήματα μπορεί να μειώσουν το εμπόδιο εισόδου», πρόσθεσε. «Τώρα μπορούμε να προσδιορίσουμε τα πράγματα στη φυσική γλώσσα και επομένως να επιτρέψουμε σε μια πολύ μεγαλύτερη τάξη ανθρώπων».

Αυτό είναι συναρπαστικό να το βλέπουμε, είπε, «αλλά συνεπάγεται επίσης σκέψη για νέους τύπους κινδύνων».

Οι εκδόσεις μοντέλων του ιδρύματος είναι αμφιλεγόμενες

Η πρόκληση, σύμφωνα με τους Liang και Bommasani, είναι ότι δεν υπάρχουν αρκετές πληροφορίες για την αξιολόγηση του κοινωνικού αντίκτυπου ή τη διερεύνηση λύσεων για τους κινδύνους των μοντέλων θεμελίων, συμπεριλαμβανομένων μεροληπτικών συνόλων δεδομένων που οδηγούν σε ρατσιστικά ή σεξιστικά αποτελέσματα.

«Προσπαθούμε να χαρτογραφήσουμε το οικοσύστημα, όπως ποια σύνολα δεδομένων χρησιμοποιήθηκαν, πώς εκπαιδεύονται τα μοντέλα, πώς χρησιμοποιούνται τα μοντέλα», είπε ο Liang. «Μιλάμε με τις διάφορες εταιρείες και προσπαθούμε να συλλέξουμε πληροφορίες διαβάζοντας μεταξύ των γραμμών».

Το CRFM προσπαθεί επίσης να επιτρέψει στις εταιρείες να μοιράζονται λεπτομέρειες σχετικά με τα μοντέλα ίδρυσής τους, ενώ παράλληλα προστατεύει τα εταιρικά συμφέροντα και την αποκλειστική IP.

«Πιστεύω ότι οι άνθρωποι θα ήταν ευτυχείς να μοιραστούν, αλλά υπάρχει φόβος ότι η υπερβολική κοινή χρήση μπορεί να οδηγήσει σε κάποιες συνέπειες», είπε. «Είναι επίσης αν όλοι μοιράζονταν, θα ήταν πραγματικά εντάξει, αλλά κανείς [wants] να είμαι ο πρώτος που θα μοιράζεται.“

Αυτό καθιστά δύσκολη τη συνέχιση.

«Ακόμη και βασικά πράγματα όπως το αν αυτά τα μοντέλα μπορούν να κυκλοφορήσουν είναι ένα καυτό θέμα διαμάχης», είπε. «Αυτό είναι κάτι που εύχομαι η κοινότητα να συζητήσει λίγο περισσότερο και να αποκτήσει λίγη περισσότερη συναίνεση για το πώς μπορείτε να προφυλαχθείτε από τους κινδύνους κακής χρήσης, διατηρώντας παράλληλα την ανοιχτή πρόσβαση και τη διαφάνεια, ώστε αυτά τα μοντέλα να μπορούν να μελετηθούν από ανθρώπους στον ακαδημαϊκό χώρο».

Η ευκαιρία μιας δεκαετίας για τις επιχειρήσεις

«Τα βασικά μοντέλα μειώνουν τις απαιτήσεις σήμανσης δεδομένων οπουδήποτε από έναν παράγοντα περίπου 10 φορές, 200 φορές, ανάλογα με την περίπτωση χρήσης», δήλωσε στο VentureBeat ο Dakshi Agrawal, συνεργάτης της IBM και CTO της IBM AI. «Ουσιαστικά, είναι η ευκαιρία μιας δεκαετίας για τις επιχειρήσεις».

Ορισμένες περιπτώσεις εταιρικής χρήσης απαιτούν μεγαλύτερη ακρίβεια από ό,τι ήταν σε θέση να χειριστεί η παραδοσιακή τεχνητή νοημοσύνη — όπως, για παράδειγμα, πολύ λεπτές ρήτρες σε συμβόλαια.

„Τα μοντέλα θεμελίωσης παρέχουν αυτό το άλμα στην ακρίβεια που επιτρέπει αυτές τις πρόσθετες περιπτώσεις χρήσης“, είπε.

Τα μοντέλα θεμελίωσης γεννήθηκαν στην επεξεργασία φυσικής γλώσσας (NLP) και έχουν μεταμορφώσει αυτόν τον χώρο σε τομείς όπως η ανάλυση εξυπηρέτησης πελατών, πρόσθεσε. Το Industry 4.0 έχει επίσης έναν τεράστιο αριθμό περιπτώσεων χρήσης, εξήγησε. Οι ίδιες ανακαλύψεις της τεχνητής νοημοσύνης που συμβαίνουν στη γλώσσα συμβαίνουν για παράδειγμα στη χημεία, καθώς τα θεμελιώδη μοντέλα μαθαίνουν τη γλώσσα της χημείας από δεδομένα – άτομα, μόρια και ιδιότητες – και τροφοδοτούν μια πληθώρα εργασιών.

„Υπάρχουν τόσοι άλλοι τομείς όπου οι εταιρείες θα ήθελαν να χρησιμοποιήσουν το μοντέλο θεμελίωσης, αλλά δεν είμαστε ακόμη εκεί“, είπε, προσφέροντας σύνθεση δεδομένων υψηλής πιστότητας και πιο φυσική βοήθεια συνομιλίας ως παραδείγματα, αλλά „θα είμαστε εκεί ίσως στο ένα χρόνο περίπου. Ή ίσως δύο.“

Ο Agrawal επισημαίνει ότι οι ρυθμιζόμενες βιομηχανίες διστάζουν να χρησιμοποιήσουν τα τρέχοντα δημόσια μοντέλα μεγάλων γλωσσών, επομένως είναι σημαντικό τα δεδομένα εισόδου να είναι ελεγχόμενα και αξιόπιστα, ενώ η έξοδος θα πρέπει να ελέγχεται ώστε να μην δημιουργείται μεροληπτικό ή επιβλαβές περιεχόμενο. Επιπλέον, η έξοδος θα πρέπει να είναι συνεπής με τα δεδομένα και τα γεγονότα — οι ψευδαισθήσεις ή τα σφάλματα ερμηνείας δεν μπορούν να γίνουν ανεκτά.

Για τον Διευθύνοντα Σύμβουλο που έχει ήδη ξεκινήσει το ταξίδι τους στην τεχνητή νοημοσύνη, «θα τους παρότρυνα να πειραματιστούν με μοντέλα ιδρυμάτων», είπε.

Τα περισσότερα έργα τεχνητής νοημοσύνης, εξήγησε, κολλάνε στην ενίσχυση του χρόνου για την αξία. «Θα τους παρότρυνα να δοκιμάσουν μοντέλα θεμελίωσης για να δουν ότι ο χρόνος για την αξία συρρικνώνεται και πόσο λίγο χρόνο αφαιρεί από τις καθημερινές δουλειές».

Εάν ένας οργανισμός δεν έχει ξεκινήσει το ταξίδι του με την τεχνητή νοημοσύνη ή βρίσκεται σε πολύ πρώιμο στάδιο, «θα έλεγα ότι μπορείτε απλώς να κάνετε άλμα», είπε. „Δοκιμάστε αυτόν τον τρόπο πολύ χαμηλής τριβής για να ξεκινήσετε με την τεχνητή νοημοσύνη.“

Το μέλλον των μοντέλων θεμελίων

Στο μέλλον, ο Agrawal πιστεύει ότι το κόστος των μοντέλων θεμελίωσης και η ενέργεια που χρησιμοποιείται θα μειωθούν δραματικά, εν μέρει χάρη στο υλικό και το λογισμικό που στοχεύουν ειδικά στην εκπαίδευσή τους αξιοποιώντας την τεχνολογία πιο αποτελεσματικά.

«Περιμένω ότι η ενέργεια θα μειώνεται εκθετικά για μια δεδομένη περίπτωση χρήσης τα επόμενα χρόνια», είπε.

Συνολικά, ο Liang είπε ότι τα μοντέλα θεμελίωσης θα έχουν «μετασχηματιστικό» αντίκτυπο – αλλά απαιτεί μια ισορροπημένη και αντικειμενική προσέγγιση.

«Δεν μπορούμε να αφήσουμε τη διαφημιστική εκστρατεία να μας κάνει να χάσουμε τα κεφάλια μας», είπε. «Η ελπίδα είναι ότι σε ένα χρόνο θα είμαστε τουλάχιστον σε μια οριστικά καλύτερη θέση όσον αφορά την ικανότητά μας να παίρνουμε τεκμηριωμένες αποφάσεις ή να αναλαμβάνουμε ενημερωμένες ενέργειες».

Η αποστολή του VentureBeat πρόκειται να αποτελέσει μια ψηφιακή πλατεία της πόλης για τους τεχνικούς λήπτες αποφάσεων ώστε να αποκτήσουν γνώσεις σχετικά με τη μετασχηματιστική επιχειρηματική τεχνολογία και να πραγματοποιήσουν συναλλαγές. Ανακαλύψτε τις Ενημερώσεις μας.