Σχεδιασμός δικτύου συμπλέγματος AI: Spine-Leaf, RoCE και NIC

Ο σχεδιασμός δικτύου συμπλέγματος τεχνητής νοημοσύνης είναι η διαδικασία προσδιορισμού του μεγέθους των NIC διακομιστή GPU, του εύρους ζώνης-φύλλου, της αναλογίας υπερσυνδρομής, των ρυθμίσεων RoCE, των οπτικών και της καλωδίωσης, έτσι ώστε η κατανεμημένη κίνηση εκπαίδευσης να παραμένει προβλέψιμη όσο η κλίμακα του συμπλέγματος. Λάθος κάποιο από αυτά και το δίκτυο - όχι η GPU - γίνεται το σημείο συμφόρησης.

Γιατί η δικτύωση συμπλέγματος AI είναι διαφορετική

Σε ένα παραδοσιακό επιχειρηματικό κέντρο δεδομένων, το δίκτυο διαχειρίζεται έναν συνδυασμό κίνησης χρηστών Βορρά-νότου, πρόσβασης στον χώρο αποθήκευσης, εικονικοποίησης και διαχείρισης. Υπάρχει ανατολική-δυτική κίνηση, αλλά σπάνια είναι το κυρίαρχο φορτίο. Σε ένα σύμπλεγμα AI, η κατάσταση ανατρέπεται. Οι διακομιστές GPU που εκτελούν κατανεμημένη εκπαίδευση ανταλλάσσουν διαβαθμίσεις και συγχρονίζουν παραμέτρους σε κάθε βήμα της εργασίας. Αυτή η επικοινωνία είναι μέρος του υπολογισμού, όχι παρενέργεια του.

Εάν μια GPU αξίας 30.000 $ ξοδεύει το 30% του χρόνου της σε αναμονή στο δίκτυο κατά τη διάρκεια όλων των-μειωμένων λειτουργιών, το σύμπλεγμα πληρώνει ουσιαστικά το 30% της υπολογιστικής του χωρητικότητας για να παραμείνει αδρανές. Αυτός είναι ο οικονομικός λόγος που η δικτύωση τεχνητής νοημοσύνης προσελκύει τόσο μεγάλη προσοχή.

Τρία χαρακτηριστικά φόρτου εργασίας καθοδηγούν τον σχεδιασμό:

• Ισχυρή ανατολική-δυτική κίνηση.Συλλογικές λειτουργίες επικοινωνίας, όπως όλες οι-μειώσεις, όλες-συγκέντρωση και μείωση-διασποράς παράγουν συγχρονισμένες εκρήξεις σε πολλούς κόμβους ταυτόχρονα.
• Ευαισθησία λανθάνοντος χρόνου-ουράς.Ένας μεμονωμένος αργός κόμβος καθυστερεί ολόκληρο το βήμα προπόνησης. Η προβλέψιμη καθυστέρηση έχει μεγαλύτερη σημασία από τη μέση καθυστέρηση.
• Κλιμακώστε-την ανάπτυξη.Τα συμπλέγματα που ξεκινούν από 32 GPU συχνά αυξάνονται σε 256 ή 1.024 μέσα σε 18 μήνες. Το ύφασμα πρέπει να κλιμακώνεται χωρίς επανασχεδιασμό.

Γιατί το Spine-Το φύλλο ταιριάζει σε συμπλέγματα AI

Το Spine-φύλλο είναι το τυπικό ύφασμα για κέντρα δεδομένων υπερκλίμακας επειδή δίνει σε κάθε διακομιστή-στο-διαδρομή διακομιστή τον ίδιο αριθμό αναπήδησης και το ίδιο θεωρητικό εύρος ζώνης. Για φόρτους εργασίας AI, αυτή η ομοιομορφία μεταφράζεται άμεσα σε πιο προβλέψιμους χρόνους βημάτων εκπαίδευσης.

Σε μια-τοπολογία φύλλων σπονδυλικής στήλης, οι διακομιστές GPU συνδέονται με διακόπτες φύλλων και κάθε φύλλο συνδέεται με κάθε ράχη. Οποιαδήποτε επικοινωνία GPU-σε-GPU διασχίζει ακριβώς ένα φύλλο, μία ράχη και ένα ακόμη φύλλο. Δεν υπάρχουν επίπεδα συνάθροισης που εισάγουν μεταβλητό λανθάνοντα χρόνο ή σημεία ασφυξίας.

Προβλεπόμενη καθυστέρηση

Η δρομολόγηση ίσου{0}}πολλαπλού-κοστήματος (ECMP) κατανέμει τις ροές στους διακόπτες σπονδυλικής στήλης. Όταν διαμορφωθεί σωστά με προσαρμοστική δρομολόγηση ή δυναμική εξισορρόπηση φορτίου, αυτό αποτρέπει τις συγκρούσεις κατακερματισμού που προκαλούν ορισμένες ροές πολύ πιο αργές από άλλες - ένα γνωστό πρόβλημα σε στατικά υφάσματα ECMP που φέρουν λίγες αλλά μεγάλες ροές, κάτι που ακριβώς δημιουργεί η εκπαίδευση AI.

Εύρος ζώνης υψηλής διχοτόμησης

Το εύρος ζώνης διχοτόμησης είναι η διαθέσιμη διεκπεραίωση μεταξύ δύο οποιωνδήποτε ίσων μισών του συμπλέγματος. Η εκπαίδευση τεχνητής νοημοσύνης επωφελείται από μη-μπλοκαρίσματα ή σχεδόν-μη{3}}μη μπλοκαρισμένα σχέδια όπου η χωρητικότητα από{4}}προς-ανώτατη ζεύξη ισούται ή σχεδόν ισούται με τη χωρητικότητα κατερχόμενης ζεύξης που αντιμετωπίζουν οι διακομιστές. Το IETF ορίζει και συζητά αυτές τις έννοιες στοRFC 7938, το οποίο καλύπτει υφάσματα BGP-που δρομολογούνται Clos που χρησιμοποιούνται ευρέως σε κέντρα δεδομένων μεγάλης- κλίμακας.

Ευκολότερη κλίμακα-Έξοδος

Προσθέστε περισσότερα φύλλα για να προσθέσετε περισσότερους διακομιστές. Προσθέστε περισσότερες ακίδες για να προσθέσετε περισσότερο εύρος ζώνης διχοτόμησης. Για συμπλέγματα πέρα ​​από μερικές χιλιάδες GPU, μια τοπολογία super-spine (5-σταδίων Clos) ή βελτιστοποιημένη για σιδηροδρομικές γραμμές επεκτείνει την ίδια αρχή ένα επίπεδο περαιτέρω.

Βασικά στοιχεία ενός δικτύου συμπλέγματος AI

Διακομιστές GPU και NIC

Το NIC είναι όπου το ύφασμα συναντά τον οικοδεσπότη. Σε συμπλέγματα τεχνητής νοημοσύνης, η επιλογή NIC καθοδηγεί τα πάντα στην ταχύτητα θύρας μεταγωγέα -, την επιλογή οπτικών και την πυκνότητα καλωδίωσης.

Κριτήρια επιλογής για φόρτους εργασίας AI:

• Ταχύτητα λιμένα:200G, 400G ή 800G ανά θύρα. Ταιριάζουν με τη δημιουργία GPU και το εύρος ζώνης PCIe.
• Παραγωγή PCIe:Ένα NIC 400G χρειάζεται PCIe Gen5 x16 για να αποφευχθεί ο στραγγαλισμός του κεντρικού υπολογιστή-. Το PCIe Gen4 x16 καλύπτει τα ~256 Gbps.
• Υποστήριξη RDMA και RoCEv2:Απαιτείται για-παράκαμψη βιβλιοθηκών επικοινωνίας GPU όπως το NCCL.
• GPUDirect RDMA:Επιτρέπει την απευθείας GPU-σε-NIC DMA, αφαιρώντας τα αντίγραφα της μνήμης κεντρικού υπολογιστή.
• Δυνατότητα πολλαπλών-σιδηροδρομικών γραμμών:Πολλοί διακομιστές τεχνητής νοημοσύνης χρησιμοποιούν 4 ή 8 NIC ανά κόμβο, ένα ανά ζεύγος GPU, για βελτιστοποιημένες τοπολογίες σιδηροδρομικής-.

Ένας τυπικός διακομιστής 8 GPU χρησιμοποιεί σήμερα είτε NIC 4× 400G (μία ανά δύο GPU) είτε NIC 8×400G (ένα ανά GPU) ανάλογα με τον φόρτο εργασίας και τον προϋπολογισμό. Αρχιτεκτονικές αναφοράς απόΤεκμηρίωση δικτύωσης NVIDIAκαλύπτουν λεπτομερώς τις ανταλλαγές σχεδιασμού.

Διακόπτες φύλλων και σπονδυλικής στήλης

Τα κριτήρια επιλογής διακόπτη για υφάσματα τεχνητής νοημοσύνης διαφέρουν από την επιλογή της επιχείρησης. Το μέγεθος του buffer, η συμπεριφορά ελέγχου συμφόρησης και η τηλεμετρία έχουν μεγαλύτερη σημασία από το εύρος των χαρακτηριστικών.

• Ανά-ταχύτητα και βάση θύρας:Ένας διακόπτης 51,2 Tbps ASIC παρέχει θύρες 64×800G ή θύρες 128×400G. Το Radix καθορίζει πόσο επίπεδο μπορεί να είναι το ύφασμα.
• Αρχιτεκτονική buffer:Τα βαθιά buffer απορροφούν τις εκρήξεις αλλά προσθέτουν λανθάνουσα κατάσταση. Τα ρηχά buffer μειώνουν την καθυστέρηση αλλά απαιτούν ακριβή έλεγχο συμφόρησης.
• Σετ χαρακτηριστικών RoCE:Σήμανση ECN, PFC, DCQCN ή αντίστοιχος έλεγχος συμφόρησης και σωστός χειρισμός των ουρών προτεραιότητας από το τέλος- έως το-τέλος.
• Τηλεμετρία:Τηλεμετρία δικτύου inband (INT), αναφορά βάθους ανά{0}}ουρά και μετρητές ανάλυσης μικροδευτερόλεπτου-για σημάδια ECN και παύσεις PFC.

Οπτικά, καλωδίωση DAC και AOC

Στα 400G και 800G, η εγκατάσταση καλωδίωσης γίνεται πραγματικό πρόβλημα μηχανικής. Οι παράγοντες φόρμας, οι προϋπολογισμοί συνδέσμων και οι διαμορφώσεις επιμέρους στοιχείων χρειάζονται όλα έγκαιρο σχεδιασμό.

• DAC (Άμεση προσάρτηση χαλκού):Έως ~3 μέτρα για 400G, χαμηλότερο κόστος και χαμηλότερη ισχύς. Βαρύ και ογκώδες σε κλίμακα.
• AOC (Ενεργό οπτικό καλώδιο):Έως ~30 μέτρα, πιο λεπτό από το DAC, αλλά σταθερό-μήκος και καταναλώνει οπτική ισχύ και στα δύο άκρα.
• Συνδεόμενα οπτικά:Απαιτείται πέρα ​​από την απόσταση AOC. Οι παράγοντες μορφής QSFP-DD και OSFP κυριαρχούν στα 400G/800G. Τα συγκροτήματα ινών MPO/MTP χειρίζονται τις παράλληλες-συνδέσεις ινών.

Για συνδέσεις μεταξύ rack και δομημένη καλωδίωση στα 400G/800G, η παράλληλη οπτική πάνω από τερματισμούς MPO είναι πλέον στάνταρ. Η επιλογή μεταξύ των καλωδίων κορμού και των συγκροτημάτων διακοπής εξαρτάται από την κατανομή της θύρας μεταγωγέα - δείτε μαςΟδηγός καλωδίου διακοπής MPOγια την πρακτική λογική επιλογής και την ευρύτερηΣύγκριση κορμού MPO με σπασίματαόταν σχεδιάζετε τρεξίματα από-προς-ράχη.

RoCE και Lossless Ethernet σε υφάσματα AI

Το RoCEv2 (RDMA over Converged Ethernet v2) είναι η κυρίαρχη μεταφορά Ethernet για φόρτους εργασίας AI. Επιτρέπει στα NIC να μετακινούν δεδομένα απευθείας μεταξύ των περιοχών μνήμης GPU χωρίς εμπλοκή του πυρήνα και στα δύο άκρα. Το NCCL, η βιβλιοθήκη επικοινωνίας GPU που βρίσκεται κάτω από όλα σχεδόν τα κατανεμημένα πλαίσια εκπαίδευσης, χρησιμοποιεί το RoCEv2 όταν το InfiniBand δεν είναι διαθέσιμο.

Το RoCE λειτουργεί καλά όταν έχει ρυθμιστεί σωστά. Αποτυγχάνει άσχημο όταν έχει ρυθμιστεί εσφαλμένα. ΟInfiniBand Trade Associationδημοσιεύει τις προδιαγραφές RoCE και οι περισσότεροι προμηθευτές NIC και μεταγωγέων δημοσιεύουν λεπτομερείς οδηγούς διαμόρφωσης που πρέπει να ακολουθούνται από-από άκρο σε-.

Γιατί έχει σημασία η συμπεριφορά χωρίς απώλειες

Το RDMA σχεδιάστηκε υποθέτοντας μια μεταφορά χωρίς απώλειες. Όταν πέφτουν τα πακέτα, η ανάκτηση RDMA είναι ακριβή - πηγαίνετε-πίσω-Η αναμετάδοση μπορεί να καθυστερήσει ένα βήμα εκπαίδευσης για χιλιοστά του δευτερολέπτου, το οποίο είναι τεράστιο σε σχέση με τον προϋπολογισμό RDMA-της κλίμακας μικροδευτερόλεπτου.

Για να προσεγγίσει τη συμπεριφορά χωρίς απώλειες στο Ethernet, το ύφασμα χρησιμοποιεί δύο μηχανισμούς που συνεργάζονται:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Ένας διακόπτης διακόπτει την εισερχόμενη κίνηση σε μια συγκεκριμένη ουρά προτεραιότητας όταν γεμίσει η προσωρινή μνήμη της. Αυτός είναι ο μηχανισμός έσχατης-του καταφυγής.
• ECN (Ρητή ειδοποίηση συμφόρησης, RFC 3168):Αλλάζει σήμανση πακέτων όταν οι ουρές πλησιάζουν ένα όριο. Το NIC μειώνει τον ρυθμό αποστολής του πριν γεμίσουν πραγματικά τα buffer, αποφεύγοντας ιδανικά πλήρως το PFC.

Στόχος είναι η ECN να κάνει σχεδόν όλη τη διαχείριση της συμφόρησης, με το PFC ως δίχτυ ασφαλείας. Εάν βλέπετε συχνές παύσεις PFC σε σταθερή-επισκεψιμότητα κατάστασης, τα κατώφλια ECN είναι λανθασμένα ή το ύφασμά σας είναι μικρότερο.

Συνήθεις αποτυχίες ανάπτυξης RoCE

Πώς να σχεδιάσετε ένα δίκτυο συμπλέγματος AI: Ένα πλαίσιο εργασίας

Αυτή είναι η ενότητα που παραλείπουν τα περισσότερα άρθρα "δικτύωση AI". Τα επτά βήματα παρακάτω σας δίνουν συγκεκριμένες εισόδους και εξόδους σε κάθε στάδιο.

Βήμα 1: Ορισμός φόρτου εργασίας και κλίμακας

Είσοδοι:Τύπος φόρτου εργασίας (προεκπαίδευση, λεπτομέρεια-συντονισμός, συμπέρασμα, μικτή), μέτρηση GPU στόχου σήμερα, μέτρηση στόχου GPU σε 18 μήνες, εύρος μεγέθους μοντέλου.

Παραγωγή:Ένα προφίλ φόρτου εργασίας που ενημερώνει την ταχύτητα NIC και την ανοχή υπερσυνδρομής. Η μεγάλη προεκπαίδευση των μοντέλων συνόρων απαιτεί υφάσματα 400G+ που δεν εμποδίζουν-. Ο ακριβής-συντονισμός του φόρτου εργασίας μπορεί να ανεχθεί υπερσυνδρομή 2:1. Τα συμπλέγματα συμπερασμάτων χρειάζονται συχνά χαμηλότερο εύρος ζώνης αλλά χαμηλότερη καθυστέρηση.

Βήμα 2: Επιλέξτε Ταχύτητα NIC και Καταμέτρηση ανά διακομιστή

Λογική απόφασης:

• Προεκπαίδευση μεγάλων μοντέλων, διακομιστές 8 GPU → NIC 4–8× 400G ανά διακομιστή ή 4×800G
• Εκπαίδευση μεσαίας κλίμακας-διακομιστές 8 GPU → NIC 2–4× 400G ανά διακομιστή
• Εξυπηρέτηση συμπερασμάτων → 1–2× 200G ή 400G NIC ανά διακομιστή, ανάλογα με τον παραλληλισμό του μοντέλου

Επαληθεύστε το εύρος ζώνης PCIe στον κεντρικό υπολογιστή. Μια μεμονωμένη θύρα 400G απαιτεί PCIe Gen5 x16 για να λειτουργεί με ρυθμό γραμμής. Ο διπλασιασμός στα 800G απαιτεί Gen6 ή χωρισμό σε δύο υποδοχές.

Βήμα 3: Δώστε μέγεθος στο στρώμα φύλλου

Παράδειγμα εργασίας - 32-συμπλέγματος κόμβων, 8 GPU ανά κόμβο, 4× 400G NIC ανά κόμβο:

• Απαιτούνται συνολικές θύρες-που αντιμετωπίζουν διακομιστή: 32 × 4=128 θύρες στα 400G
• Εύρος ζώνης κατερχόμενης σύνδεσης ανά κόμβο: 4 × 400=1.6 Tbps
• Συνολικό εύρος ζώνης downlink συμπλέγματος: 32 × 1.6=51.2 Tbps

Χρησιμοποιώντας έναν διακόπτη φύλλου 64 θυρών 400G (συνολική χωρητικότητα 25,6 Tbps), κάθε φύλλο μπορεί να συνδέσει 32 θύρες διακομιστή και να χρησιμοποιήσει τις υπόλοιπες 32 θύρες ως ανοδικές συνδέσεις. Με 4 φύλλα, καλύπτετε και τις 128 θύρες διακομιστή. Κάθε φύλλο συνεισφέρει 32 × 400 G=12.8 Tbps ανερχόμενης ζεύξης προς τη σπονδυλική στήλη.

Βήμα 4: Μέγεθος του στρώματος της σπονδυλικής στήλης

Για μια σχεδίαση που δεν αποκλείει (1:1), η συνολική χωρητικότητα άνω ζεύξης πρέπει να ισούται με τη συνολική χωρητικότητα κατερχόμενης ζεύξης. Από το Βήμα 3:

• Απαιτείται συνολικός ανερχόμενος σύνδεσμος φύλλου: 4 φύλλα × 12,8 Tbps=51.2 Tbps
• Εάν κάθε ράχη έχει θύρες 32× 400G=12.8 Tbps, χρειάζεστε 4 ακίδες
• Κάθε φύλλο συνδέεται και με τις 4 ράχες χρησιμοποιώντας 8 άνω συνδέσμους ανά ράχη (8 × 400G × 4=12.8 Tbps ανά φύλλο - αντιστοιχίσεις)

Εάν χρησιμοποιείτε διακόπτες σπονδυλικής στήλης 64 θυρών 400G, κάθε ράχη έχει πλεονάζουσα χωρητικότητα για την ανάπτυξη του συμπλέγματος, χρήσιμη για το πρόγραμμα 18 μηνών από το Βήμα 1.

Βήμα 5: Ορίστε την αναλογία υπερσυνδρομής

Βήμα 6: Διαχωρίστε την κίνηση υπολογισμού, αποθήκευσης και διαχείρισης

Τρεις επιλογές, με σειρά αύξησης της απομόνωσης:

• Κοινό ύφασμα με κλάσεις QoS:Υπολογισμός, αποθήκευση και διαχείριση σε ξεχωριστές προτεραιότητες DSCP. Χαμηλότερο κόστος? απαιτεί προσεκτική διαμόρφωση QoS.
• Λογικά διαχωρισμένα VLAN/VRF:Ίδιο υλικό, ξεχωριστά επίπεδα ελέγχου. Χρήσιμο για πολλές-ομάδες ενοικιαστών.
• Φυσικά ξεχωριστά υφάσματα:Αποκλειστικά NIC, διακόπτες και καλωδίωση για υπολογιστές έναντι αποθήκευσης. Υψηλότερο κόστος? κοινά σε ομάδες συνόρων-μοντέλων όπου οποιοσδήποτε ισχυρισμός είναι απαράδεκτος.

Η κίνηση αποθήκευσης για την τεχνητή νοημοσύνη είναι από μόνη της βαριά - το σημείο ελέγχου για ένα μεγάλο μοντέλο μπορεί να μετακινήσει εκατοντάδες gigabyte σε σύντομες ριπές. Σχεδιάστε για αυτό ρητά. Μια εγκατάσταση δομημένης καλωδίωσης υψηλής πυκνότητας-που χρησιμοποιείΚαλώδια κορμού MPO/MTPαπλοποιεί τη λειτουργία παράλληλων υφασμάτων στην ίδια φυσική υποδομή.

Βήμα 7: Επικύρωση πριν από την παραγωγή

Οι δοκιμές σε επίπεδο δικτύου-εντοπίζουν ορισμένα προβλήματα. Οι δοκιμές επιπέδου φόρτου εργασίας-πιάνουν τα υπόλοιπα.

• Εύρος ζώνης:iperf3 ή ib_send_bw μεταξύ κάθε ζεύγους κόμβων. θα πρέπει να φτάσει το 90%+ της τιμής γραμμής NIC.
• Αφάνεια:ib_read_lat ή παρόμοιο? έλεγχος διανομής, όχι μόνο κατά μέσο όρο. Το P99.9 έχει μεγαλύτερη σημασία από το μέσο.
• Απώλεια πακέτου:Εκτελέστε δοκιμή εμποτισμού 24- ωρών υπό φορτίο. οποιαδήποτε μη μηδενική απώλεια στην κατηγορία κυκλοφορίας RoCE είναι πρόβλημα.
• Συμπεριφορά σήμανσης ECN:Επαληθεύστε ότι τα σημάδια εμφανίζονται πριν από την πυρκαγιά PFC. εάν οι παύσεις PFC είναι συχνές σε σταθερή κατάσταση, επανασυντονίστε.
• Συλλογική επικοινωνία:Εκτελέστε δοκιμές NCCL (all_reduce_perf, all_gather_perf) σε πλήρες μέγεθος συμπλέγματος. Συγκρίνετε με αριθμούς αναφοράς προμηθευτή.
• Δοκιμή επιπέδου εργασίας-:Εκτελέστε μια αντιπροσωπευτική εργασία εκπαίδευσης για 4–6 ώρες. Παρακολουθήστε τη χρήση GPU - διατηρούμενες τιμές κάτω από 50% σε ένα μοντέλο κατάλληλου μεγέθους- συνήθως υποδηλώνουν πρόβλημα δικτύου.

Παραδοσιακό δίκτυο κέντρων δεδομένων εναντίον AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Οδηγός γρήγορης απόφασης

Το ερώτημα τίθεται σε σχεδόν κάθε έργο συμπλέγματος AI. Και οι δύο δουλεύουν. Η επιλογή συνήθως εξαρτάται από τη λειτουργική εφαρμογή, όχι την καθαρή απόδοση.

• Επιλέξτε InfiniBand εάν:Η ομάδα σας χρησιμοποιεί ήδη υφάσματα InfiniBand, θέλετε την απλούστερη διαδρομή για μεταφορά χωρίς απώλειες ή αγοράζετε μια πλήρως-ενσωματωμένη αρχιτεκτονική αναφοράς προμηθευτή.
• Επιλέξτε Ethernet RoCE εάν:Η ομάδα λειτουργιών σας είναι εγγενής-Ethernet, θέλετε επιλογές διακόπτη πολλών-προμηθευτών, πρέπει να ενσωματώσετε το ύφασμα AI με υπάρχοντα δίκτυα κέντρων δεδομένων ή αναμένετε κλιμάκωση πέρα ​​από αυτό που υποστηρίζουν καθαρά οι τρέχουσες τοπολογίες InfiniBand.

Η κοινοπραξία Ultra Ethernet, που ιδρύθηκε το 2023, εργάζεται ενεργά για την τυποποίηση των βελτιώσεων Ethernet ειδικά για φόρτους εργασίας AI. Για τα περισσότερα νέα συμπλέγματα το 2026, το Ethernet RoCE είναι μια υπερασπιστή προεπιλογή, εκτός εάν υπάρχει συγκεκριμένος λόγος για να επιλέξετε διαφορετικά.

Συνήθη λάθη προς αποφυγή

Αναβάθμιση διακοπτών χωρίς έλεγχο NIC

Ένα ύφασμα διακόπτη 800G δεν σας κάνει τίποτα εάν τα NIC σας λειτουργούν στα 400G ή το PCIe του κεντρικού σας υπολογιστή εξαντληθεί το εύρος ζώνης. Σχεδιάστε πρώτα την πλευρά του κεντρικού υπολογιστή και μετά την πλευρά του διακόπτη. Το PCIe Gen5 x16 περιορίζει μια μεμονωμένη θύρα σε περίπου 504 Gbps πραγματική-παγκόσμια απόδοση - άνετη για 400G, οριακή για 800G.

Βελτιστοποίηση της ταχύτητας θύρας αλλά αγνόηση της πυκνότητας καλωδίωσης

Όταν φεύγει 64-θύρα 400G, η καλωδίωση κάτω από κάθε διακόπτη μπορεί να γίνει φυσικά μη διαχειρίσιμη χωρίς προγραμματισμό. Χρησιμοποιήστε καλώδια διάσπασης όπου χρειάζεται, δρομολογήστε τις ίνες μέσω δομημένων διαδρομών και τυποποιήστε τους τύπους συνδετήρων. Η ποιότητα του συνδετήρα και ο τερματισμός έχουν σημασία σε υψηλές ταχύτητες - δικό μαςοδηγός τύπων συνδετήρων οπτικών ινώνκαλύπτει τις ανταλλαγές μεταξύ LC, MPO και αναδυόμενων παραγόντων μορφής υψηλής-πυκνότητας.

Αντιμετώπιση του RoCE ως Plug-και-Play

Το μεγαλύτερο λάθος σχεδιασμού σε πραγματικές συστάδες τεχνητής νοημοσύνης είναι ότι δεν επιλέγετε λάθος διακόπτη - υποεκτιμάτε πόσο απαιτούνται εργασίες διαμόρφωσης RoCE από το τέλος-να-τερματίσετε. Χρόνος προϋπολογισμού για συντονισμό των ορίων ECN, προτεραιότητες PFC και συνέπεια MTU. Σχεδιάστε μια αποκλειστική φάση επικύρωσης πριν από την εκτέλεση οποιουδήποτε φόρτου εργασίας παραγωγής.

Ανάμιξη όλης της κυκλοφορίας σε ένα ύφασμα χωρίς QoS

Η αναπαραγωγή αποθήκευσης, οι παράγοντες παρακολούθησης και η κίνηση διαχείρισης μπορούν να καταστρέψουν τους χρόνους βημάτων εκπαίδευσης εάν μοιράζονται buffer με την υπολογιστική κίνηση. Είτε διαχωρίστε τα φυσικά είτε επιβάλλετε αυστηρές κλάσεις QoS με ξεχωριστές προτεραιότητες και διαμόρφωση ECN.

Κτίριο για το σημερινό σύμπλεγμα μόνο

Τα περισσότερα συμπλέγματα τεχνητής νοημοσύνης αναπτύσσονται 4-8× μέσα σε δύο χρόνια από την αρχική ανάπτυξη. Επιλέξτε την ρίζα του διακόπτη και τη χωρητικότητα της σπονδυλικής στήλης που επιτρέπει την μη-διαστολή. Το τράβηγμα καλωδίων σε ένα ζωντανό κέντρο δεδομένων AI είναι ακριβό. Η χωρητικότητα του αγωγού σχεδιασμού και της ενημέρωσης κώδικα κατά την ανάπτυξη είναι φθηνή.

Πότε να ανεβείτε από 400G σε 800G

Διατίθενται NIC και διακόπτες 800G αλλά πιο ακριβά ανά θύρα. Εξετάστε το ενδεχόμενο να αυξήσετε όταν:

• Ανά-Οι ανάγκες σε εύρος ζώνης GPU υπερβαίνουν αυτό που μπορεί να παρέχει τα 400G -, για παράδειγμα, το H100 και οι νεότερες GPU με NVLink 5 αναμένουν υψηλότερο εξωτερικό εύρος ζώνης
• Το NCCL all-μειώνει κακώς την κλίμακα χρόνου με το μέγεθος συμπλέγματος, υποδεικνύοντας κορεσμό δικτύου
• Η πυκνότητα καλωδίου στα 400G γίνεται φυσικά μη διαχειρίσιμη - λιγότερες θύρες 800G μπορούν να αντικαταστήσουν περισσότερες θύρες 400G
• Η επόμενη γενιά GPU στον οδικό σας χάρτη αναμένεται να τη χρειαστεί εντός του παραθύρου απόσβεσης του συμπλέγματος
• Δημιουργείτε ένα σύμπλεγμα προπονήσεων{0}}μοντέλων, όπου οποιοσδήποτε υπολογιστικός χρόνος αδράνειας κοστίζει πολύ περισσότερο από την αναβάθμιση οπτικών

Για τα περισσότερα cluster παραγωγής το 2026, το 400G παραμένει η σωστή ισορροπία κόστους, ωριμότητας οικοσυστήματος και ικανότητας. 800Το G έχει νόημα στο υψηλό επίπεδο και ως μελλοντική επένδυση για τα clusters που κατασκευάζονται σήμερα και αναμένεται να λειτουργήσουν για 4-5 χρόνια.

Σύναψη

Το ισχυρότερο δίκτυο συμπλέγματος AI δεν είναι αυτό με τους ταχύτερους διακόπτες. Είναι εκείνο όπου η επιλογή NIC, το μέγεθος φύλλου/ράχης, η υπερεγγραφή, η διαμόρφωση RoCE, ο διαχωρισμός κυκλοφορίας και η φυσική καλωδίωση υποστηρίζουν το ένα το άλλο και τον φόρτο εργασίας για τον οποίο επιλέχθηκαν.

Ξεκινήστε από τον φόρτο εργασίας και το 18-πρόγραμμα ανάπτυξης. Υπολογίστε τις ανάγκες εύρους ζώνης σε κάθε επίπεδο χρησιμοποιώντας πραγματικούς αριθμούς, όχι μόνο εμπειρικούς κανόνες. Διαμορφώστε το τέλος RoCE-για να-τερματιστεί και επικυρωθεί με πραγματικούς δείκτες αναφοράς συλλογικής επικοινωνίας. Προϋπολογισμός για την εγκατάσταση καλωδίωσης - στα 400G και 800G, το φυσικό επίπεδο δεν είναι πλέον ασήμαντο.

Το σύμπλεγμα που κρατά τις GPU απασχολημένες με 95%+ χρήση σε κάθε βήμα εκπαίδευσης είναι αυτό που έδωσε προσοχή σε όλα αυτά τα επίπεδα. Το σύμπλεγμα που αποστέλλεται με ταχύτερο διακόπτη και πιο αργό ύφασμα θα περάσει χρόνια εξηγώντας γιατί οι GPU είναι αδρανείς.

Περαιτέρω ανάγνωση

• RFC 7938 - BGP σε Κέντρα Δεδομένων Μεγάλης- κλίμακας
• InfiniBand Trade Association - Προδιαγραφές RoCE
• Τεκμηρίωση δικτύωσης NVIDIA
• Οδηγός εγκατάστασης καλωδίου οπτικών ινών
• Απώλεια εισαγωγής έναντι απώλειας επιστροφής Επεξήγηση