Ο υπερυπολογιστής Eos της NVIDIA έσπασε το δικό του ρεκόρ εκπαίδευσης AI

Η εκπαίδευση ενός μεγάλου γλωσσικού μοντέλου μπορεί να διαρκέσει εβδομάδες, μήνες, ακόμη και χρόνια για να ολοκληρωθεί ανάλογα με το hardware. Γι’ αυτό και όταν επιτυγχάνεται σπουδαία πρόοδος, είναι κάτι αξιοσημείωτο.

Την Τετάρτη, η NVIDIA παρουσίασε την πιο πρόσφατη έκδοση του υπερυπολογιστή της Eos, ο οποίος τροφοδοτείται από περισσότερες από 10.000 H100 Tensor Core GPUs και είναι σε θέση να εκπαιδεύσει ένα μοντέλο GPT-3 με 175 δισεκατομμύρια παραμέτρους σε 1 δισεκατομμύριο τοκενς σε λιγότερο από τέσσερα λεπτά. Αυτό είναι τρεις φορές πιο γρήγορο από το προηγούμενο ρεκόρ στον βιομηχανικό πρότυπο της AI MLPerf, το οποίο η NVIDIA είχε πετύχει μόλις πριν από έξι μήνες.

Το Eos χρησιμοποιεί 10.752 GPUs που συνδέονται με το δίκτυο Infiniband της NVIDIA και 860 τεραμπάιτ υψηλής ταχύτητας μνήμης για να παρέχει 40 exaflops υπολογιστική ισχύ AI. Η συνολική αρχιτεκτονική στο cloud αποτελείται από 1344 κόμβους – ατομικούς διακομιστές στους οποίους οι εταιρείες μπορούν να ενοικιάσουν πρόσβαση για περίπου $37.000 τον μήνα για την επέκταση των δυνατοτήτων τους στην τεχνητή νοημοσύνη χωρίς να χρειάζεται να δημιουργήσουν τη δική τους υποδομή.

Συνολικά, η NVIDIA έκανε έξι ρεκόρ σε εννέα δοκιμές benchmark: με 3,9 λεπτά για το GPT-3, 2,5 λεπτά για να εκπαιδευτεί ένα μοντέλο Stable Diffusion χρησιμοποιώντας 1.024 Hopper GPUs, 1 λεπτό για το DLRM, 55,2 δευτερόλεπτα για το RetinaNet, 46 δευτερόλεπτα για το 3D U-Net και μόλις 7,2 δευτερόλεπτα για το μοντέλο BERT-Large.

Η NVIDIA έσπευσε να σημειώσει ότι η έκδοση 175 δισεκατομμυρίων παραμέτρων του GPT-3 που χρησιμοποιήθηκε στη συγκριτική αξιολόγηση δεν είναι η επανάληψη πλήρους μεγέθους του μοντέλου (ούτε το μοντέλο Stable Diffusion). Το μεγαλύτερο GPT-3 προσφέρει περίπου 3,7 τρισεκατομμύρια παραμέτρους και είναι απλά πολύ μεγάλο και δυσκίνητο για χρήση σε δοκιμή συγκριτικής αξιολόγησης. Για παράδειγμα, θα χρειαζόταν 18 μήνες για να το εκπαιδεύσετε στο παλαιότερο σύστημα A100 με 512 GPU αλλά το Eos χρειάζεται μόλις οκτώ ημέρες.

Αντίθετα, η NVIDIA και η MLCommons, η οποία διαχειρίζεται το πρότυπο MLPerf, αξιοποιούν μια πιο συμπαγή έκδοση που χρησιμοποιεί 1 δισεκατομμύριο tokens (η μικρότερη μονάδα παρονομαστή δεδομένων που κατανοούν τα συστήματα παραγωγής τεχνητής νοημοσύνης).

Η NVIDIA εστιάζει συνεχώς στις δυνατότητες και τις εφαρμογές της AI τους τελευταίους μήνες. «Βρισκόμαστε στη στιγμή του iPhone για την τεχνητή νοημοσύνη», δήλωσε ο διευθύνων σύμβουλος Jensen Huang κατά τη διάρκεια της κεντρικής ομιλίας του στο GTC τον Μάρτιο. Εκείνη την εποχή, η εταιρεία ανακοίνωσε το σύστημα cloud DGX της, το οποίο κατανέμει κομμάτια της επεξεργαστικής ισχύος του υπερυπολογιστή — συγκεκριμένα με οκτώ τσιπ H100 ή A100 με 60 GB VRAM (640 μνήμη συνολικά). Η εταιρεία επέκτεινε το χαρτοφυλάκιο υπερυπολογιστών της με την κυκλοφορία του DGX GH200 στην Computex τον Μάιο.