Οδηγός σχεδίασης δικτύου AI Cluster: RoCEv2, Lossless Ethernet και 400G/800G GPU Fabric

Jul 07, 2026

Αφήστε ένα μήνυμα

Σε ένα σύμπλεγμα GPU, το δίκτυο δεν είναι ένα επίπεδο υποστήριξης - αυτό αποφασίζει εάν οι ακριβοί επιταχυντές υπολογίζουν ή μένουν σε αδράνεια περιμένοντας δεδομένα. Η δικτύωση συμπλέγματος τεχνητής νοημοσύνης διαμορφώνει άμεσα την ταχύτητα εκπαίδευσης, τη χρήση της GPU και τον χρόνο ολοκλήρωσης της εργασίας και συμπεριφέρεται πολύ διαφορετικά από ένα δίκτυο κέντρων δεδομένων γενικού-σκοπού. Αυτός ο οδηγός καλύπτει τον τρόπο σχεδίασης ενός υφάσματος χωρίς απώλειες για φόρτους εργασίας GPU: τοπολογία, διαμόρφωση RoCEv2, οπτικά και καλώδια 400G/800G και την επικύρωση που διαχωρίζει ένα ύφασμα που περνάει από μια δοκιμή εύρους ζώνης από ένα ύφασμα που ολοκληρώνει τις εργασίες εκπαίδευσης εγκαίρως.

Σχεδιασμός δικτύου συμπλέγματος AI

Ένα καλά κατασκευασμένο ύφασμα συμπλέγματος τεχνητής νοημοσύνης διαχωρίζει την επισκεψιμότητα από το frontend και το backend, χρησιμοποιεί μια τοπολογία που δεν εμποδίζει ή με χαμηλή εξισορρόπηση αντί για προεπιλεγμένο ECMP μόνο, τυποποιείται στα 400G σήμερα με μια σαφή διαδρομή προς τα 800G και επικυρώνεται με τηλεμετρία που συσχετίζεται με AI-όπως η συλλογική κίνηση - όχι μόνο με απλές δοκιμές απόδοσης.

Σχεδιασμός δικτύου συμπλέγματος AI με μια ματιά

Απόφαση Προτεινόμενη προεπιλογή
Τομείς επισκεψιμότητας Ξεχωρίστε τα υφάσματα της πρόσοψης και του πίσω μέρους
Τοπολογία Backend Φύλλο-ραχιαία, μη-μη αποκλειστική ή χαμηλή υπερσυνδρομή
Μεταφορά RoCEv2 με PFC + ECN + DCQCN
Εξισορρόπηση φορτίου Συμφόρηση-με επίγνωση / δυναμική, όχι μόνο το προεπιλεγμένο ECMP
Ταχύτητα λιμένα 400G τώρα, με προγραμματισμένη μετανάστευση 800G
Νομιμοποίηση Τηλεμετρία συν συλλογική κίνηση (NCCL), όχι μόνο iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Τι είναι το AI Cluster Networking;

Η δικτύωση συμπλέγματος τεχνητής νοημοσύνης είναι το ύφασμα υψηλής απόδοσης{{0} που συνδέει διακομιστές GPU, αποθηκευτικούς χώρους, κόμβους διαχείρισης και μερικές φορές πολλούς τομείς κέντρων δεδομένων για εκπαίδευση ή συμπεράσματα. Ένα μεμονωμένο σύμπλεγμα μεταφέρει διάφορους τύπους κίνησης - GPU-σε-Επικοινωνία GPU, RDMA μεταξύ διακομιστών, ανάγνωση και εγγραφή αποθηκευτικού χώρου, απορρόφηση δεδομένων, σημεία ελέγχου, καταγραφή και ενορχήστρωση -, αλλά το πιο ευαίσθητο μέρος της απόδοσης- είναι το backend εκπαιδευτικό ύφασμα που μεταφέρει την εκπαίδευση GPU{8} κατά τη διάρκεια της εκπαίδευσης{8}. Όταν αυτό το ύφασμα είναι αργό ή απρόβλεπτο, οι GPU περιμένουν αντί να υπολογίζουν.

Αυτός είναι ο λόγος για τον οποίο ένα ύφασμα AI κρίνεται διαφορετικά από ένα κανονικό δίκτυο κέντρων δεδομένων. Το ακατέργαστο εύρος ζώνης έχει σημασία, αλλά το ίδιο ισχύει και για τη συνέπεια της καθυστέρησης, τη συμπεριφορά συμφόρησης, την απώλεια πακέτων, το βάθος τηλεμετρίας, την τοπολογία, ακόμη και την κατανάλωση οπτικής ενέργειας.

Γιατί οι φόρτοι εργασίας της τεχνητής νοημοσύνης τονίζουν διαφορετικά το δίκτυο

Η κατανεμημένη εκπαίδευση συγχρονίζεται συνεχώς

Τα μεγάλα μοντέλα εκπαιδεύονται σε πολλές GPU που ανταλλάσσουν διαβαθμίσεις και ενεργοποιήσεις σε συντονισμένες φάσεις - συλλογικά μοτίβα όπως Όλα-Μείωση και Όλα-σε-Όλα. Η συνέπεια είναι αμβλεία: η πιο αργή διαδρομή μπορεί να καθυστερήσει ένα ολόκληρο βήμα προπόνησης. Ακόμα κι αν το 99% των συνδέσμων είναι υγιείς, ένας κορεσμένος σύνδεσμος-προς-στην σπονδυλική στήλη μπορεί να μετατρέψει μια GPU σε στραβά που όλοι οι άλλοι περιμένουν.

Ο λανθάνουσα κατάσταση ουράς σπαταλά τις GPU, όχι τη μέση καθυστέρηση

Η μέση καθυστέρηση είναι η λάθος μέτρηση εδώ. Επειδή ένα βήμα συγχρονισμού περιμένει την άφιξη της τελευταίας GPU, μια χούφτα καθυστερημένων πακέτων μπορεί να συγκρατήσει ολόκληρη την εργασία. Σε ένα σύμπλεγμα 256 GPU, ένας ενιαίος σύνδεσμος που προσθέτει καθυστέρηση στην ουρά σε μία ράγα μπορεί να περιορίσει τη χρήση σε όλη την εργασία.

Η κυκλοφορία AI αποτελείται από ροές ελεφάντων

Τα παραδοσιακά δίκτυα ταχυδακτυλουργούν πολλές μικρές ροές. Τα συμπλέγματα τεχνητής νοημοσύνης δημιουργούν μερικές μεγάλες-ροές GPU-σε-GPU με μεγάλη διάρκεια ζωής. Ο προεπιλεγμένος κατακερματισμός ECMP κατανέμει ροές, όχι byte, οπότε όταν πολλοί ελέφαντες ρέουν κατακερματίζονται στο ίδιο ράφι-για-σύνδεσμο σπονδυλικής στήλης, αυτός ο σύνδεσμος ενεργοποιείται ενώ οι παράλληλοι σύνδεσμοι μένουν αδρανείς - παράγοντας συσσώρευση ουρών, αιχμές καθυστέρησης και τελικά πέφτουν. Η υψηλότερη ταχύτητα θύρας δεν το διορθώνει από μόνη της: ένας σύνδεσμος 400G εξακολουθεί να συμφορείται εάν ο ελέφαντας δεν ρέει κατακερματισμό πάνω του.

Η απώλεια πακέτων είναι ιδιαίτερα ακριβή

Το συνηθισμένο TCP ανέχεται την απώλεια. Το RDMA που βασίζεται σε RoCEv2-δεν το κάνει. Το ύφασμα αναμένεται να συμπεριφέρεται ως χαμηλή-απώλεια ή χωρίς απώλειες και οι πτώσεις κατά τη συμφόρηση μπορεί να καταρρέουν την απόδοση RDMA. Αυτός είναι ολόκληρος ο λόγος που ένα ύφασμα RoCEv2 χρειάζεται σκόπιμη μηχανική χωρίς απώλειες αντί για προώθηση με την καλύτερη δυνατή προσπάθεια.

Βασικές απαιτήσεις για ένα δίκτυο συμπλέγματος AI

Ένα καλό ύφασμα υποστήριξης πρέπει να ικανοποιεί πολλές απαιτήσεις ταυτόχρονα: υψηλό εύρος ζώνης διχοτόμησης, ώστε πολλές GPU να μπορούν να μιλάνε ταυτόχρονα χωρίς το ύφασμα να γίνει το σημείο συμφόρησης. χαμηλόςκαι προβλέψιμολανθάνουσα κατάσταση, καθώς οι περιστασιακές αιχμές συμφόρησης είναι εξίσου επιζήμιες με την υψηλή μέση καθυστέρηση. μεταφορά χωρίς απώλειες ή σχεδόν{0}}χωρίς απώλειες για RoCEv2. μια τοπολογία που κλιμακώνεται χωρίς να συσσωρεύεται σε λυκίσκο και καλώδια. και βαθιά επιχειρησιακή ορατότητα. Στο τελευταίο σημείο - χωρίς τηλεμετρία, οι ομάδες συνήθως διαγιγνώσκουν εσφαλμένα ένα πρόβλημα συμφόρησης δικτύου ως πρόβλημα GPU ή υπολογισμού και καίνε μέρες κυνηγώντας το λάθος επίπεδο.

AI Cluster Network Architecture: Frontend vs Backend Fabric

Η πιο συνεπακόλουθη πρώιμη απόφαση είναι εάν θα διαχωριστεί το δίκτυο frontend από τον ιστό εκπαίδευσης backend. Η διεπαφή παρέχει πρόσβαση χρήστη, διαχείριση, ενορχήστρωση, παρακολούθηση, καταγραφή, πρόσβαση αποθήκευσης, απορρόφηση δεδομένων και μεταφορές σημείων ελέγχου - μπορεί να μοιάζει πολύ με ένα συμβατικό δίκτυο κέντρων δεδομένων, αν και η αποθήκευση και το σημείο ελέγχου εξακολουθούν να απαιτούν πραγματική απόδοση. Το backend είναι αφιερωμένο στην κίνηση εκπαίδευσης GPU-σε-GPU και έχει βελτιστοποιηθεί για RDMA, χαμηλή καθυστέρηση, μεταφορά χωρίς απώλειες και προβλέψιμο εύρος ζώνης.

Αυτός ο διαχωρισμός δεν είναι θεωρητικός. Δημοσιευμένο έργο του Μέτα γιαΔίκτυα RoCE για κατανεμημένη εκπαίδευση AI σε κλίμακαπεριγράφει ακριβώς αυτόν τον διαχωρισμό: ένα δίκτυο διεπαφής για εργασίες όπως η απορρόφηση δεδομένων, το σημείο ελέγχου και η καταγραφή, και ένα αποκλειστικό ύφασμα υποστήριξης RoCEv2 που συνδέει τα NIC RDMA σε μια αρχιτεκτονική που δεν-αποκλείει για επικοινωνία GPU. ΤουςΈγγραφο SIGCOMM 2024 για RDMA μέσω Ethernet σε κλίμακα Metaπλαισιώνει την ίδια ιδέα ως αρχή σχεδιασμού: κατανοήστε πρώτα τον φόρτο εργασίας και μετά διαχωρίστε την εκπαίδευση GPU στο δικό της δίκτυο υποστήριξης, ώστε να μπορεί να εξελιχθεί και να κλιμακωθεί ανεξάρτητα.

Γιατί αποδίδει: ο διαχωρισμός τομέων βελτιώνει την προβλεψιμότητα απόδοσης, τη σαφήνεια αντιμετώπισης προβλημάτων, την απομόνωση και τον συντονισμό ελέγχου συμφόρησης-. Εάν η αποθήκευση, η διαχείριση και η εκπαίδευση μοιράζονται ένα ύφασμα χωρίς προσεκτικό QoS, μια βαριά εγγραφή σημείου ελέγχου μπορεί να σταματήσει την επικοινωνία εκπαίδευσης τη χειρότερη δυνατή στιγμή. Στο σχεδιασμό του Meta, οι διακόπτες φύλλων συνδέουν GPU μέσα σε ένα rack πάνω από χάλκινο DAC, ενώ οι σύνδεσμοι rack προς-ράχη λειτουργούν σε ίνα μονής-λειτουργίας με πομποδέκτες 400G - ένα μοτίβο που αντιστοιχίζεται καθαρά σε δομημένοMPO/MTP καλωδίωση κορμούμεταξύ των σειρών φύλλων και ράχης.

Frontend and backend network separation in an AI cluster

RoCEv2 και Lossless Ethernet: Πώς λειτουργούν μαζί

Το RDMA (Remote Direct Memory Access) επιτρέπει σε ένα σύστημα να διαβάζει ή να γράφει τη μνήμη ενός άλλου συστήματος με ελάχιστη συμμετοχή της CPU, κάτι που καθιστά δυνατή τη μεταφορά GPU χαμηλής-λανθάνουσας- υψηλής{1}}διακίνησης-σε-GPU. Το RoCEv2 μεταφέρει αυτήν την κίνηση RDMA μέσω Ethernet, ενθυλακώνοντάς την σε UDP/IP, ώστε να μπορείτε να δημιουργήσετε το ύφασμα σε τυπική μεταγωγή Ethernet.

Η έκκληση είναι το εύρος του οικοσυστήματος. Το Ethernet έχει μια τεράστια βάση προμηθευτών, ώριμες λειτουργίες και γρήγορη εξέλιξη στο πυρίτιο διακόπτη, τα οπτικά και τα εργαλεία. ΟΚοινοπραξία Ultra Ethernetκαθιστά αυτό το κεντρικό του επιχείρημα: μια ανοιχτή, διαλειτουργική, στοίβα Ethernet πολλαπλών προμηθευτών, που έχει πλέον επισημοποιηθεί στην προδιαγραφή 1.0, με σκοπό-να κλιμακώσει τη δικτύωση AI και HPC χωρίς κλείδωμα προμηθευτή-. Η NVIDIA έχει ωθήσει την ίδια κατεύθυνση από την πλευρά του προϊόντος -Spectrum-X Ethernet πλατφόρματοποθετείται ως Ethernet που έχει σχεδιαστεί ειδικά για τεχνητή νοημοσύνη, προσθέτοντας μεταφορά χωρίς απώλειες, προσαρμοστική δρομολόγηση και{0}}τηλεμετρία δικτύου στο τυπικό Ethernet.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

Το ύφασμα χωρίς απώλειες RoCEv2, εξάρτημα προς εξάρτημα

Το "Lossless" δεν είναι ένας μόνο διακόπτης, είναι μια στοίβα συνεργαζόμενων μηχανισμών. Ο παρακάτω πίνακας είναι το επίπεδο λεπτομέρειας που χρειάζεται πραγματικά ένα σχέδιο.

Συστατικό Ρόλος Γιατί έχει σημασία
Ταξινόμηση κυκλοφορίας (DSCP/PCP) Τοποθετεί το RDMA στην κλάση χωρίς απώλειες Η λανθασμένη σήμανση στέλνει το RDMA σε μια ουρά με απώλειες
PFC Σύνδεση-παύσης επιπέδου για αποφυγή πτώσεων Ένα δίχτυ ασφαλείας. Η κακή χρήση προκαλεί καταιγίδες παύσης και αποκλεισμό γραμμής-of-
ECN Επισημαίνει τα πακέτα πριν από την υπερχείλιση των ουρών Πρέπει να ενεργοποιηθεί πριν από το PFC για να είναι χρήσιμο
DCQCN Έλεγχος ρυθμού NIC με ανάδραση ECN/CNP Μειώνει τη συχνότητα ενεργοποίησης του PFC
Δυναμική / προσαρμοστική εξισορρόπηση φορτίου Απλώνει τις ροές των ελεφάντων στα μονοπάτια Ο προεπιλεγμένος κατακερματισμός ECMP αφήνει τους συνδέσμους ζεστούς και αδρανείς
Τηλεμετρία Εκθέτει πτώσεις, σημάδια ECN, παύσεις PFC, βάθος ουράς Ο μόνος τρόπος για να συσχετίσετε την υγεία των υφασμάτων με την υγεία της εργασίας

Αυτά πρέπει να συντονιστούν μαζί. Η κρίσιμη σχέση είναι ότι το όριο του ECN πρέπει να καθίσειπαρακάτωτο όριο εισόδου PFC, έτσι ώστε οι αποστολείς να επιβραδύνουν προτού χρειαστούν ποτέ τα καρέ παύσης. του JuniperΤεκμηρίωση DCQCNπεριγράφει αυτή την πράξη εξισορρόπησης με ακρίβεια: αφήστε το ECN να κάνει τον έλεγχο ροής μειώνοντας νωρίς τον ρυθμό μετάδοσης, έτσι ώστε το PFC - που σταματά εντελώς τη ροή - να ελαχιστοποιείται. Ρυθμίστε το ECN πολύ ψηλά και το PFC ενεργοποιείται πρώτα και συχνά. Ρυθμίστε το PFC πολύ επιθετικά και θα έχετε καταιγίδες παύσης.

Τι σημαίνει αυτό στην πράξη: Οι μετρητές PFC δεν αποτελούν μέτρηση επιτυχίας. Εάν τα πλαίσια παύσης PFC ανεβαίνουν σταθερά κατά τη διάρκεια κανονικών τρεξίματος προπόνησης, το ύφασμα δεν είναι υγιές - επιβιώνει από τη συμφόρηση διακόπτοντας την κυκλοφορία. Ένα πραγματικά υγιές ύφασμα δείχνει ότι η ECN κάνει τη δουλειά και το PFC σπάνια ασχολείται.

Κοινές προκλήσεις δικτύωσης συμπλέγματος AI και πώς να τις λύσετε

Πρόκληση 1: Καθυστέρηση ουράς και στραγάλια

Πρόβλημα:στη συγχρονισμένη προπόνηση, μια αργή διαδρομή καθυστερεί ολόκληρη την εργασία.Κάνω:κρατήστε το backend χαμηλά- Αποφύγετε την περιττή υπερσυνδρομή. παρακολουθεί τον λανθάνοντα χρόνο της ουράς, όχι τους μέσους όρους. χρήση συμφόρησης-ενήμερης εξισορρόπησης φορτίου. επικυρώστε με συλλογικά μοτίβα κυκλοφορίας και όχι με δοκιμές από σημείο-σε-σημείο.Στην πράξη:μια εργασία της οποίας η χρήση της GPU ανταποκρίνεται σε κάθε μεσοδιάστημα συγχρονισμού, συνήθως φτάνει σε μια στραγάλια διαδρομή, όχι σε ένα όριο υπολογισμού.

Πρόκληση 2: Συμφόρηση και συγκρούσεις-ελεφάντων

Πρόβλημα:μερικές μεγάλες ροές προσγειώνονται στον ίδιο σύνδεσμο και δημιουργούν ένα hotspot.Κάνω:Μην βασίζεστε στο προεπιλεγμένο ECMP για ένα μεγάλο ύφασμα AI. ενεργοποίηση δυναμικής/προσαρμοστικής εξισορρόπησης φορτίου. παρακολούθηση ανά-χρήση σπονδυλικής στήλης συνδέσμου και βάθος ουράς. αφήστε τους αποστολείς γκαζιού ECN και DCQCN πριν συνεχιστεί η συμφόρηση.Στην πράξη:Η ανομοιόμορφη σπονδυλική στήλη-χρήση συνδέσμου με οτιδήποτε άλλο ονομαστικό είναι η υπογραφή του κακού κατακερματισμού ροής και όχι του ανεπαρκούς εύρους ζώνης.

Πρόκληση 3: Κλιμάκωση από 400G σε 800G

Πρόβλημα:καθώς αυξάνεται ο αριθμός GPU, οι σύνδεσμοι χαμηλότερης-ταχύτητας αναγκάζουν περισσότερους διακόπτες, επίπεδα, οπτικά και καλώδια.Κάνω:υπολογίστε το απαιτούμενο εύρος ζώνης ανά GPU και ανά rack (ένας διακομιστής GPU 8- με 400G NIC ανά GPU είναι πολύ διαφορετικός από ένα σχέδιο 200G). Αποφασίστε να μην-αποκλείσετε έναντι της ελαφράς υπερεγγραφής σκόπιμα. Εξετάστε την ρίζα του διακόπτη, την ταχύτητα της θύρας και το βάθος τοπολογίας μαζί. Σχεδιάστε τη διαδρομή 400G-to-800G προτού αναγκαστείτε να την ακολουθήσετε. διατηρήστε την οπτική, την καλωδίωση και την ισχύ στη σχεδίαση από την πρώτη μέρα.

Πρόκληση 4: Επιλογή ισχύος, ψύξης και οπτικών

Πρόβλημα:Τα υφάσματα AI αντλούν σοβαρή ισχύ, ειδικά σε υψηλές ταχύτητες θυρών και οπτική πυκνότητα.Κάνω:χρησιμοποιήστε DAC για σύντομους-δεσμούς rack όπου είναι πρακτικό. χρησιμοποιήστε AOC ή οπτικούς πομποδέκτες για μεγαλύτερες διαδρομές με rack-έως-στην σπονδυλική στήλη. Συγκρίνετε την ισχύ μεταξύ των οπτικών επιλογών. επικύρωση θερμικών ορίων σε θύρες υψηλής-πυκνότητας. σχεδιάστε καλώδια και ροή αέρα μαζί. Επιλέγοντας μεταξύπομποδέκτες μονής-λειτουργίας και πολλαπλών λειτουργιώνείναι σε μεγάλο βαθμό μια απόφαση προσέγγισης-έναντι-κόστους και θα πρέπει να λαμβάνεται ανά κατηγορία συνδέσμων, όχι μία φορά για ολόκληρο το σύμπλεγμα.

Η ισχύς οπτικών είναι πλέον ένας περιορισμός σχεδίασης πρώτης-παραγγελίας, όχι υποσημείωση. Η δουλειά της NVIDIA γιαpower-αποδοτικά υφάσματα AI με Spectrum-X Ethernet Photonicsαπεικονίζει άμεσα την τάση: χρησιμοποιείται-συσκευασμένο φωτονικό πυριτίου για την κοπή ανά-ισχύ θύρας και τη μείωση των πτερυγίων σύνδεσης σε σύγκριση με τα παραδοσιακά συνδεόμενα οπτικά, ακριβώς επειδή οι πομποδέκτες είναι μεταξύ των εξαρτημάτων με την υψηλότερη-ισχύ και την υψηλότερη{3}}αστοχία-σε ένα μεγάλο σύμπλεγμα.

Πρόκληση 5: Ορατότητα και αντιμετώπιση προβλημάτων στα τυφλά σημεία

Πρόβλημα:χωρίς τηλεμετρία, ένα πρόβλημα δικτύου μοιάζει με πρόβλημα υπολογισμού.Κάνω:παρακολουθήστε τις πτώσεις πακέτων, τα σημάδια ECN, τα πλαίσια παύσης PFC, την κατάληψη ουράς, τα σφάλματα συνδέσμου, τη χρήση θύρας, τη διανομή ροής, τους μετρητές συμφόρησης NIC, τη χρήση GPU και τον χρόνο ολοκλήρωσης εργασίας - και, στη συνέχεια, συσχετίστε τις μετρήσεις υφάσματος με τις μετρήσεις εργασίας AI. Ένας αθόρυβος- διακόπτης εμφάνισης δεν εγγυάται μια υγιή εργασία εκπαίδευσης και μια πολυάσχολη GPU δεν εγγυάται χρήσιμη πρόοδο.

RoCEv2 εναντίον InfiniBand για δικτύωση συμπλέγματος AI

Τόσο το RoCEv2/Ethernet όσο και το InfiniBand εκτελούν συμπλέγματα πραγματικών AI και HPC. η επιλογή εξαρτάται από την κλίμακα, τις δεξιότητες της ομάδας, το οικοσύστημα, το μοντέλο κόστους και τους επιχειρησιακούς στόχους. Ο παρακάτω πίνακας είναι μια σύγκριση σύνταξης, όχι μια απόλυτη κατάταξη - η σωστή απάντηση είναι ο φόρτος εργασίας- και η συγκεκριμένη οργάνωση-.

Παράγοντας RoCEv2 / Ethernet InfiniBand
Οικοσύστημα Ευρεία, πολυπωλητής, γνώριμες λειτουργίες Ισχυρή κληρονομιά HPC, ώριμη στοίβα υψηλής-απόδοσης
Λειτουργίες Επαναχρησιμοποιεί τις δεξιότητες Ethernet, αλλά χρειάζεται προσεκτική ρύθμιση χωρίς απώλειες Πιο εξειδικευμένο,-σχεδιασμένο για στενά συνδεδεμένο HPC
Ευελιξία προμήθειας Γενικά περισσότερες επιλογές πωλητή Συχνά μια πιο ολοκληρωμένη στοίβα
Εκτέλεση Ισχυρό όταν έχει σχεδιαστεί και συντονιστεί σωστά Γνωστό για τη χαμηλή καθυστέρηση σε στενά συζευγμένες συστάδες
Απολέπιση Χρειάζεται σκόπιμη τοπολογία, έλεγχος συμφόρησης, τηλεμετρία Ισχυρές επιλογές για μεγάλα υφάσματα στυλ HPC-
Καλύτερη εφαρμογή Ομάδες που θέλουν ευελιξία Ethernet και σχεδιασμό AI-έτοιμο RoCEv2 Ομάδες δίνουν προτεραιότητα στο ολοκληρωμένο, αποδεδειγμένα στενά συνδεδεμένο HPC

Το πραγματικό ερώτημα δεν είναι ποια τεχνολογία κερδίζει αφηρημένα. Είναι αν το επιλεγμένο ύφασμα μπορεί να προσφέρει προβλέψιμο εύρος ζώνης, χαμηλή καθυστέρηση, χαμηλή απώλεια και λειτουργική ορατότητα στην κλίμακα GPU-στόχου σας.

Κλίμακα GPU έναντι σχεδίασης δικτύου

Ένα σύμπλεγμα εργαστηρίου 64-GPU και ένα σύμπλεγμα παραγωγής πολλών-χιλιάδων GPU δεν είναι το ίδιο έργο με διαφορετικό αριθμό θυρών. Η κλίμακα αλλάζει το σχέδιο.

Κλίμακα συμπλέγματος Τυπικό σχέδιο Πρωταρχική εστίαση
Έως ~64 GPU (εργαστήριο / πιλοτικό) Μεμονωμένη-επιπέδου ή μικρή δύο-φύλλων-ράχης, συχνά τομέας ενός διακόπτη Σωστή διαμόρφωση RoCEv2, καθαρή καλωδίωση, βασική τηλεμετρία
~128–512 GPU Μη δεσμευτική-ράχη δύο-φύλλων-επιπέδων, διαχωρισμός πρόσοψης/πίσω άκρου Στόχος υπερσυνδρομής, δυναμική εξισορρόπηση φορτίου, συντονισμός ECN/PFC
~1.000–4,000+ GPU (παραγωγή) βελτιστοποιημένο-πολλαπλών επιπέδων ή σιδηροτροχιών, δεδομένων-κέντρων-υποβάθρου Τοπολογία-προγραμματισμός με επίγνωση, 400G/800G, ισχύς και πυκνότητα οπτικών

Βήμα-βήμα-Πλαίσιο σχεδίασης δικτύου συμπλέγματος AI

Βήμα 1: Καθορίστε το φόρτο εργασίας και την κλίμακα GPU

Ξεκινήστε με το φόρτο εργασίας, όχι με το μοντέλο διακόπτη. Διευκρινίστε τον αριθμό των GPU τώρα και τον επόμενο κύκλο, εάν η εργασία είναι εκπαίδευση,-λεπτή ρύθμιση, συμπέρασμα ή μικτή, τα αναμενόμενα συλλογικά μοτίβα, το μέγεθος του σημείου ελέγχου, τον όγκο επισκεψιμότητας αποθήκευσης και εάν το σύμπλεγμα είναι μεμονωμένο{- ή πολλαπλό-ενοικιαστή.

Βήμα 2: Διαχωρίστε τους τομείς επισκεψιμότητας

Αποφασίστε τι ανήκει στο frontend έναντι του backend: διαχείριση, αποθήκευση και σημείο ελέγχου, εκπαίδευση/RDMA και παρακολούθηση της κυκλοφορίας. Για μικρές αναπτύξεις, μπορεί να αρκεί ο λογικός διαχωρισμός με VLAN και QoS. για μεγαλύτερα συμπλέγματα, ο φυσικός διαχωρισμός μεταξύ frontend και backend είναι συνήθως πιο εύκολος στη λειτουργία και την αιτιολογία.

Βήμα 3: Επιλέξτε τοπολογία και στόχο υπερεγγραφής

Το Leaf{0}}spine είναι η προεπιλογή για κλιμακούμενα υφάσματα Ethernet AI. Αποφασίστε ένα, δύο ή περισσότερα επίπεδα. μη-μπλοκάρισμα έναντι υπερεγγραφής. GPU ανά rack. NIC ανά διακομιστή. Ταχύτητα ανόδου και μέτρηση. χωρητικότητα της σπονδυλικής στήλης? και μέγεθος τομέα αποτυχίας. Για την επισκεψιμότητα της εκπαίδευσης backend, η χαμηλότερη υπερσυνδρομή εξαγοράζει προβλεψιμότητα - και, εάν κάνετε υπερσυνδρομή, ορίστε την ως σκόπιμη αναλογία βάσει της μετρημένης συμπεριφοράς του φόρτου εργασίας και όχι ενός ατυχήματος μέτρησης θυρών.

Βήμα 4: Επιλέξτε ταχύτητα διακόπτη και πυκνότητα θύρας

Επιλέξτε πλατφόρμες μεταγωγής στο απαιτούμενο εύρος ζώνης, τοπολογία και ανάπτυξη - αξιολογώντας 400G έναντι 800G, ρίζα, συνολική χωρητικότητα, αρχιτεκτονική buffer, υποστήριξη RoCEv2/PFC/ECN/DCQCN, τηλεμετρία, ισχύ ανά θύρα και NOS/αυτοματισμό. Μην αξιολογείτε μόνο την ταχύτητα: ένας γρήγορος διακόπτης χωρίς τον σωστό έλεγχο συμφόρησης, προσωρινή αποθήκευση και τηλεμετρία θα εξακολουθεί να δημιουργεί προβλήματα στην κυκλοφορία τεχνητής νοημοσύνης.

Βήμα 5: Σχεδιάστε NIC, οπτικά, DAC/AOC και καλωδίωση

Το ύφασμα είναι κάτι παραπάνω από διακόπτες. Σχεδιάστε την ταχύτητα NIC ανά GPU, το NIC-για-εναλλαγή τύπου συνδέσμου, DAC για βραχείς χάλκινους συνδέσμους, AOC και οπτικές μονάδες για μεγαλύτερες διαδρομές, οπτικά μονής-λειτουργίας για απόσταση και την εγκατάσταση ινών, διάταξη ενημέρωσης κώδικα, επισήμανση και πρόσβαση στην υπηρεσία. Η σωστή λήψη του συντελεστή φόρμας με δυνατότητα σύνδεσης έχει σημασία εδώ - αQSFP-Επισκόπηση συντελεστών φόρμας DD και OSFP-Αξίζει να ρίξετε μια ματιά πριν δεσμεύσετε τις θύρες διακόπτη και NIC στα 400G/800G. Από την πλευρά της καλωδίωσης, το σπάσιμο μιας θύρας διακόπτη υψηλής πυκνότητας-σε συνδέσμους ανά-διακομιστή συνήθως σημαίνειΚαλωδίωση διακοπής από MPO-σε-LC, και ο βαθμός ίνας θα πρέπει να αντιστοιχεί στην απόσταση - του πρακτικούΌρια προσέγγισης πολυτροπικών ινών (OM1–OM5)αποφασίστε πού εξακολουθεί να λειτουργεί η πολυλειτουργία και πού απαιτείται μονή-λειτουργία. Ο κακός σχεδιασμός καλωδίωσης μπορεί να κάνει μια τεχνικά σωστή τοπολογία άθλια στη λειτουργία.

Τάξη σύνδεσης Τυπική απόσταση Κοινή επιλογή
Στο-ράφι GPU-για-φύλλο Κάτω από ~ 3 μ DAC (χαλκός)
Παρακείμενο-ράφι ~3–7 m AOC ή DAC
Ξεκινήστε-σε-ράχη μέσα σε μια αίθουσα Δεκάδες μέτρα έως ~ 100 μ Multimode (OM4/OM5) + SR optics, ή single-λειτουργία
Σε όλες τις αίθουσες / DC-κλίμακα ~100 m έως 2 km Πομποδέκτες μονής-λειτουργίας + 400G/800G

Βήμα 6: Διαμορφώστε τον έλεγχο μεταφοράς και συμφόρησης χωρίς απώλειες

Αυτό είναι το πιο ευαίσθητο μέρος της ανάπτυξης. Ταξινομήστε σωστά την κυκλοφορία του RoCEv2 και αντιστοιχίστε την στη σωστή προτεραιότητα. ενεργοποιήστε το PFC σε αυτήν την προτεραιότητα. ορίστε τα κατώφλια ECN κάτω από το όριο PFC. επιβεβαιώστε ότι τα NIC εφαρμόζουν την προβλεπόμενη απόκριση DCQCN. κρατήστε τη άσχετη επισκεψιμότητα εκτός της κατηγορίας χωρίς απώλειες. και δοκιμάστε ρητά για καταιγίδες παύσης και αποκλεισμό-από-γραμμής. Αντιμετωπίστε το PFC ως μηχανισμό ασφαλείας, όχι ως τον καθημερινό τρόπο λειτουργίας ενός δικτύου με συμφόρηση.

Βήμα 7: Επικύρωση με τηλεμετρία και τεχνητή νοημοσύνη-όπως η δοκιμαστική κυκλοφορία

Πριν από την εκτέλεση των εργασιών παραγωγής, επικυρώστε το εύρος ζώνης-σε-από το τέλος έως το τέλος, τη διανομή λανθάνοντος χρόνου, τον λανθάνοντα χρόνο, τις πτώσεις πακέτων, τη συμπεριφορά σήμανσης ECN, τη συχνότητα παύσης PFC, την ανάκτηση-αστοχίας σύνδεσης, τη διανομή ροής και την απόδοση εργασίας GPU υπό φόρτωση. Η απλή απόδοση iperf δεν είναι αρκετή - επαληθεύστε τη σήμανση ECN, η παύση PFC, το βάθος ουράς και το NCCL όλα-μειώνουν την απόδοσημαζί, επειδή ένα ύφασμα που περνά από σημεία-σε-δοκιμές σημείου μπορεί να εξακολουθήσει να πνίγει τη συγχρονισμένη συλλογική επικοινωνία.

Συχνές ερωτήσεις: AI Cluster Networking

Ε: Μπορεί το RoCEv2 να αντικαταστήσει πραγματικά το InfiniBand για εκπαίδευση τεχνητής νοημοσύνης;

Α: Για πολλά συμπλέγματα, ναι - όταν το ύφασμα Ethernet έχει σχεδιαστεί και συντονιστεί σωστά. Οι μεγάλοι χειριστές εκτελούν εκπαίδευση παραγωγής σε backend RoCEv2 και τόσο η κοινοπραξία Ultra Ethernet όσο και οι πλατφόρμες προμηθευτών όπως το NVIDIA Spectrum-X ωθούν το Ethernet ειδικά προς την απόδοση κλίμακας AI-. Η προειδοποίηση είναι ότι το RoCEv2 απαιτεί σκόπιμη μηχανική χωρίς απώλειες. δεν λειτουργεί "απλώς" όπως θα μπορούσε να-κατασκευάζεται ένα ύφασμα HPC.

Ε: Πότε χρειάζομαι πραγματικά 800G αντί για 400G;

Α: Όταν η ζήτηση εύρους ζώνης ανά-GPU και ανά-ράφι ξεπερνά αυτό που μπορούν να μεταφέρουν οι σύνδεσμοι 400G χωρίς την προσθήκη βαθμίδων, καλωδίων και οπτικών. Οι πυκνοί διακομιστές με-NIC υψηλής ταχύτητας ανά GPU και τα μεγαλύτερα συμπλέγματα όπου διαφορετικά θα υπήρχε υπερσυνδρομή, είναι τα συνήθη κίνητρα. Σχεδιάστε τη διαδρομή μετάβασης νωρίς, έτσι ώστε το 800G να είναι ένα βήμα, όχι ένας επανασχεδιασμός.

Ε: Τι συμβαίνει εάν το PFC δεν έχει ρυθμιστεί σωστά;

Α: Η κακή διαμόρφωση PFC μπορεί να προκαλέσει καταιγίδες παύσης, αποκλεισμό κεφαλής-γραμμής και εξάπλωση συμφόρησης, όπου η παύση ενός συνδέσμου δημιουργεί αντίγραφα ασφαλείας της κυκλοφορίας σε όλο το ιστό. Αυτός είναι ο λόγος για τον οποίο το ECN θα πρέπει να μεταφέρει το μεγαλύτερο μέρος της σηματοδότησης συμφόρησης και το PFC θα πρέπει σπάνια να εμπλέκεται. Η αύξηση των μετρητών PFC κατά τη διάρκεια των κανονικών διαδρομών είναι ένα προειδοποιητικό σημάδι, όχι ένας δείκτης επιτυχίας.

Ε: Πρέπει ένα δίκτυο συμπλέγματος AI να είναι φυσικά απομονωμένο;

Α: Όχι πάντα, αλλά τα μεγαλύτερα cluster συνήθως επωφελούνται από το φυσικό διαχωρισμό του υφάσματος προπόνησης backend από το frontend. Οι μικρότερες αναπτύξεις μπορούν συχνά να χρησιμοποιούν λογικό διαχωρισμό με VLAN και QoS, υπό την προϋπόθεση ότι οι ριπές αποθήκευσης και σημείων ελέγχου διατηρούνται εκτός της τάξης εκπαίδευσης χωρίς απώλειες.

Ε: Πώς μπορώ να επιλέξω ανάμεσα σε DAC, AOC και οπτικούς πομποδέκτες;

Α: Από απόσταση και δύναμη. Το DAC ταιριάζει σε σύντομους-χάλκινους συνδέσμους. Το AOC καλύπτει ελαφρώς μεγαλύτερες, ευέλικτες διαδρομές. και οπτικοί πομποδέκτες με πολύτροπη ή μονής-φωτογραφίας λαβής ινών-σε-ραχιαία και διασταύρωση-απόστασης χωλ. Ταιριάξτε την ποιότητα ινών για να φτάσετε και ζυγίστε την οπτική ισχύ, καθώς οι πομποδέκτες αποτελούν σημαντικό μερίδιο τόσο της ισχύος του υφάσματος όσο και του ποσοστού αστοχίας.

Ε: Χρειάζονται τα μικρά συμπλέγματα GPU ένα πλήρες ύφασμα χωρίς απώλειες;

Α: Εξακολουθούν να χρειάζονται σωστή ταξινόμηση RoCEv2 -, PFC στη σωστή προτεραιότητα και ECN κάτω από PFC -, αλλά ένα μικρό σύμπλεγμα μεμονωμένων-τομέων μπορεί συχνά να παρακάμψει την τοπολογία πολλαπλών-επιπέδων και τον βαρύ σχεδιασμό υπερσυνδρομής που απαιτούν τα μεγάλα υφάσματα. Η συμπεριφορά χωρίς απώλειες δεν είναι προαιρετική. η κλίμακα-πολυπλοκότητα είναι.

Συμπέρασμα και επόμενο βήμα

Η δικτύωση συμπλέγματος AI αποφασίζει εάν οι GPU λειτουργούν ως ένα συντονισμένο σύστημα ή αν είναι σε αδράνεια αναμονής για δεδομένα. Ένας ισχυρός σχεδιασμός συνδυάζει υψηλό εύρος ζώνης, προβλέψιμο λανθάνοντα χρόνο, μεταφορά RoCEv2 χωρίς απώλειες, κλιμακούμενη τοπολογία σπονδυλικής στήλης-φύλλων, σωστή οπτική και καλωδίωση και τηλεμετρία αρκετά βαθιά ώστε να συσχετίζει την υγεία του υφάσματος με την υγεία της εργασίας. Τα μικρά συμπλέγματα οδηγούν με καθαρή τοπολογία και σωστή διαμόρφωση RoCEv2. Τα μεγάλα συμπλέγματα πρέπει επίσης να αντιμετωπίζουν τις λειτουργίες διαχωρισμού διεπαφής/παρασκηνίου, συμφόρησης-ενήμερης εξισορρόπησης φορτίου, μετεγκατάστασης 400G/800G, πυκνότητας ισχύος και τηλεμετρίας-.

Το καλύτερο επόμενο βήμα είναι να διορθώσετε πρώτα τις εισόδους σας: κλίμακα GPU, μοτίβο φόρτου εργασίας, σχεδιασμός rack και τομείς κυκλοφορίας. Στη συνέχεια, επιλέξτε τους διακόπτες, τα NIC, τα οπτικά και τη διαμόρφωση Ethernet χωρίς απώλειες για να ταιριάζουν. Εάν οριοθετείτε παράλληλα την οπτική και τη δομημένη- πλευρά καλωδίωσης ενός υφάσματος GPU,λύσεις ινών και καλωδίωσης κέντρων δεδομένωνμπορεί να σας βοηθήσει να ταιριάξετε τις επιλογές κορμού, διακοπής και πομποδέκτη με την τοπολογία σας και τις αποστάσεις σύνδεσης. Στην υποδομή τεχνητής νοημοσύνης, το σωστό δίκτυο δεν είναι απλώς πιο γρήγορο - είναι πιο προβλέψιμο, πιο παρατηρήσιμο και πιο εύκολο στην κλίμακα.

 

Αποστολή ερώτησής