Το QSFP-Το DD είναι κατάλληλο για ένα σύμπλεγμα τεχνητής νοημοσύνης όταν ο διακόπτης ή το τελικό σημείο χρησιμοποιεί ήδη ένα εγγενές κλωβό QSFP-DD, όταν μια μεγάλη βάση από κατάλληλες οικογενειακές μονάδες QSFP-και οπτικές ίνες πρέπει να παραμείνει σε λειτουργία και όταν η πλατφόρμα μπορεί να ψύξει τις επιλεγμένες μονάδες με κάθε θύρα γεμάτη. Είναι το λάθος σημείο εκκίνησης όταν οι διακομιστές και οι διακόπτες GPU είναι χτισμένοι γύρω από εγγενείς κλωβούς OSFP ή όταν τα οπτικά που πραγματικά χρειάζεστε απαιτούν περισσότερο θερμικό χώρο από ό,τι μπορεί να τους δώσει ο κεντρικός υπολογιστής.
Ο παράγοντας μορφής δεν είναι η πρώτη απόφαση. Είναι περίπου το τέταρτο. Ένας σχεδιασμός δικτύου που επιβιώνει από την πρώτη του περίοδο εκπαίδευσης παραγωγής ξεκινά με τις διεπαφές διακομιστή, τον αριθμό των σιδηροδρομικών γραμμών, την τοπολογία στόχο, τον αποδεκτό λόγο υπερσυνδρομής και τη μετρούμενη διαδρομή καλωδίου. Μόνο τότε έχει σημασία το σχήμα της μονάδας.
Αυτός ο οδηγός ακολουθεί τη σειρά από άκρο σε άκρο, με έναν υπολογισμό χωρητικότητας εργασίας, έναν πίνακα-επιλογής συνδέσμων και μια ακολουθία επικύρωσης που μπορείτε να παραδώσετε σε μια ομάδα εργαστηρίου.

Ποιον παράγοντα φόρμας πρέπει να επιλέξετε;
| Συνθήκη τελικού σημείου | Πρώτη επιλογή για αξιολόγηση |
|---|---|
| Και τα δύο άκρα εγγενώς QSFP-DD / QSFP-DD800 | QSFP-DD |
| Και τα δύο άκρα εγγενώς ΟΣΦΠ | ΟΣΦΠ |
| Μετανάστευση από εγκατεστημένη βάση QSFP 400G | QSFP-DD, με την προϋπόθεση ότι ο κεντρικός υπολογιστής υποστηρίζει την απαιτούμενη λειτουργία θύρας |
| Οπτικά υψηλής-ισχύς σε μια πλατφόρμα της οποίας ο εγγενής κλωβός είναι το OSFP | ΟΣΦΠ |
| Το ένα άκρο OSFP, το άλλο QSFP-DD | Μια ειδική διασταύρωση-φόρμας-DAC/AEC ή μια οπτική σύνδεση με αντίστοιχο PMD, ρυθμό λωρίδας και λειτουργία FEC και στα δύο άκρα |
Ο βασικός κανόνας είναι σύντομος:επιλέξτε το κλουβί που είναι εγγενές στο τελικό σημείο και, στη συνέχεια, επαληθεύστε τον ρυθμό ηλεκτρικής λωρίδας, την οπτική διεπαφή, τη λειτουργία FEC, την κατηγορία ισχύος και το υλικολογισμικό για αυτόν τον ακριβή αριθμό ανταλλακτικού.Όλα τα παρακάτω είναι η εργασία που απαιτείται για την ειλικρινή εφαρμογή αυτού του κανόνα.
Οι πέντε αποφάσεις, κατά σειρά
Οι περισσότερες κακές κατασκευές δικτύων τεχνητής νοημοσύνης προέρχονται από τη λήψη αυτών των αποφάσεων εκτός σειράς - επιλέγοντας πρώτα μια λειτουργική μονάδα και ανακαλύπτοντας τον περιορισμό αργότερα. Κάθε βήμα παρακάτω τροφοδοτεί το επόμενο και κάθε ένα αλλάζει τι μπορείτε να αγοράσετε στο επόμενο βήμα.
- Επιβεβαιώστε τα τελικά σημεία.Εγγενής τύπος κλουβιού και λειτουργία πρωτοκόλλου και στα δύο άκρα κάθε συνδέσμου.
- Υπολογίστε τη χωρητικότητα.Θύρες ανά κόμβο, ανά σιδηροδρομική γραμμή και, στη συνέχεια, χωρητικότητα κατερχόμενης και ανοδικής ζεύξης φύλλων με τον στόχο υπερσυνδρομής σας.
- Επιλέξτε τον φυσικό σύνδεσμο.Μετρημένο μήκος διαδρομής, φυτική ίνα, σύνδεσμος, απαίτηση διάσπασης.
- Επικυρώστε τον αριθμό εξαρτήματος.FEC, ρυθμός λωρίδας, κατηγορία ισχύος, υλικολογισμικό, αναθεώρηση CMIS, πιστοποίηση προμηθευτή.
- Ανάπτυξη κατά τομέα αποτυχίας.Πρώτα εργαστήριο, μετά ένα ράφι, ράγα ή κλιμακούμενη μονάδα κάθε φορά.
Βήμα 1: Διαχωρίστε το Form Factor, το Protocol και την Optical Interface
Αυτά τα τρία πράγματα καταρρέουν σε μια απόφαση συνεχώς, και αυτή η κατάρρευση είναι όπου προέρχονται οι περισσότερες εκπλήξεις συμβατότητας. Είναι ξεχωριστά επίπεδα με ξεχωριστά έγγραφα που διέπουν.
Ο παράγοντας μορφήςκαθορίζει τις μηχανικές διαστάσεις, τον σύνδεσμο υποδοχής, τις ηλεκτρικές λωρίδες, τη συμπεριφορά διαχείρισης και τον θερμικό σχεδιασμό. ΟQSFP-Προδιαγραφές υλικού DD MSAκαλύπτει τις μηχανικές, ηλεκτρικές και θερμικές απαιτήσεις και οι μεταγενέστερες αναθεωρήσεις του επεκτείνουν την ίδια θύρα κεντρικού υπολογιστή οκτώ-λωρίδων σε παραλλαγές 800G και 1.6T διατηρώντας παράλληλα συμβατότητα με την οικογένεια QSFP. Εάν θέλετε το μηχανολογικό και διαχειριστικό υπόβαθρο πριν προχωρήσετε περαιτέρω, μαςQSFP-Τεχνική επισκόπηση DDκαλύπτει λεπτομερώς τον ίδιο τον παράγοντα μορφής.
Το πρωτόκολλοΤο - Ethernet, RoCEv2 ή InfiniBand - αποφασίζεται από το NIC, τον διακόπτη ASIC, το υλικολογισμικό και τη διαμόρφωση της θύρας και όχι από το σχήμα του κλωβού. Μια μονάδα QSFP-DD δεν πρέπει ποτέ να περιγράφεται ως "υποστηρίζει τόσο Ethernet όσο και InfiniBand" ως ιδιότητα του παράγοντα φόρμας. Αυτή η δυνατότητα ανήκει στον κεντρικό υπολογιστή και πρέπει να επιβεβαιωθεί στο συγκεκριμένο λιμάνι.
Η οπτική διεπαφήΤο - DR8, FR4, SR8, LR - περιγράφει την οργάνωση λωρίδας, την προσέγγιση και την εφαρμογή. Δεν περιγράφει το βύσμα, τον αριθμό των ινών, την αντιστοίχιση σπασίματος ή τον ρυθμό ηλεκτρικής λωρίδας. Δύο μονάδες που φέρουν την ίδια οπτική ετικέτα μπορεί να διαφέρουν σε καθεμία από αυτές. Η ίδια η σηματοδότηση ορίζεται από το IEEE, όχι από το MSA:IEEE Std 802.3df-2024πρόσθεσε τις παραμέτρους MAC και τα φυσικά επίπεδα για λειτουργία 800 Gb/s και επιπλέον PHY 400 Gb/s.
Η συμπεριφορά διαχείρισης είναι ένα τέταρτο, πιο ήσυχο επίπεδο. Η διαχείριση και των δύο μονάδων QSFP-DD και OSFP γίνεται μέσω CMIS και η αναθεώρηση έχει σημασία για τη συμπεριφορά ενημέρωσης υλικολογισμικού, την επιλογή εφαρμογής και το χρονισμό της μονάδας κεντρικού υπολογιστή-. Οι δημοσιευμένες αναθεωρήσεις παρατίθενται στοΣυμφωνίες εφαρμογής του OIF.
Βήμα 2: Μέγεθος του δικτύου από τις θύρες διακομιστή, όχι τον αριθμό GPU
Ο αριθμός GPU σάς λέει πόσο μεγάλο είναι ένα σύμπλεγμα. Δεν σας λέει τι πρέπει να μεταφέρει το δίκτυο, επειδή το δίκτυο βλέπει μόνο διασυνδέσεις διακομιστή.
Δύο παραδείγματα επιβεβαιώνουν την ουσία. Ένα σύστημα NVIDIA DGX H100/H200 εκθέτει οκτώ διασυνδέσεις υφάσματος ConnectX-7 υπολογιστών{{6} με ταχύτητα έως και 400 Gb/s η καθεμία - αλλά δεν είναι οκτώ φυσικοί κλωβοί. Η αρχιτεκτονική αναφοράς SuperPOD δείχνει το υπολογιστικό ύφασμα που παρουσιάζεταιτέσσερις πομποδέκτες δύο-θυρών που φτάνουν και τις οκτώ GPU. Ένα DGX B300, αντίθετα, παρουσιάζειοκτώ θύρες δικτύου στο δίσκο GPUεξυπηρετεί οκτώ διεπαφές ConnectX-8 με ταχύτητα έως και 800 Gb/s. Ίδιος αριθμός GPU, εντελώς διαφορετικό απόθεμα θυρών, αριθμός καλωδίων και λογαριασμός οπτικών.
Επομένως, προτού κοιτάξετε ένα φύλλο δεδομένων μεμονωμένου διακόπτη, τεκμηριώστε για κάθε τύπο κόμβου: υπολογισμός-fabric ports, rate port, NIC-to-GPU ή rail map, native type cage, υποστηριζόμενες λειτουργίες πρωτοκόλλου, καθώς και ξεχωριστές διεπαφές αποθήκευσης και διαχείρισης. Αυτό το απόθεμα, όχι ο αριθμός GPU, είναι η είσοδος σε κάθε υπολογισμό που ακολουθεί.
Υπολογισμός εργασιακής ικανότητας
Πάρτε μια κλιμακούμενη μονάδα 32 κόμβων, ο καθένας με οκτώ υπολογιστικές-υφασμάτινες θύρες 400G, μία θύρα ανά ράγα, σε βελτιστοποιημένη σχεδίαση ράγας-. Εργαστείτε μία ράγα κάθε φορά:
- Χωρητικότητα κατερχόμενης ζεύξης ανά φύλλο σιδηροτροχιάς= 32 κόμβοι × 1 θύρα × 400 G =12,8 Tb/s
- Στο 1:1 (μη-μη αποκλεισμός), απαιτούμενη χωρητικότητα ανόδου=12.8 Tb/s → 12.800 ÷ 800 =16 × 800 G uplinks
- Στο 2:1, απαιτούμενη χωρητικότητα ανερχόμενης ζεύξης=6.4 Tb/s →8 × 800 G uplinks
Στη συνέχεια, ελέγξτε το αποτέλεσμα σε σχέση με την ρίζα του διακόπτη: 32 κατερχόμενες συνδέσεις συν 16 ανοδικές ζεύξεις χρειάζονται 48 χρησιμοποιήσιμες θύρες σε αυτό το φύλλο, γεγονός που περιορίζει την επιλογή του διακόπτη σας αμέσως. Προσθέστε συνδέσμους για πλεονασμό και συντήρηση και επαναλάβετε ανά ράγα - οκτώ ράγες, οκτώ ομάδες φύλλων, όχι έναν συνολικό αριθμό. Εδώ το 800G κερδίζει τη θέση του ή όχι: εδώ μειώνει στο μισό τον αριθμό των θυρών ανερχόμενης ζεύξης, που είναι όρισμα βάσης, όχι όρισμα εύρους ζώνης.
Τα υφάσματα δέντρων-βελτιστοποιημένα, με ισορροπημένο λίπος-είναι τα μοτίβα εγγράφων της NVIDIA για μεγάλα συγκροτήματα εκπαίδευσης -Αρχιτεκτονική αναφοράς DGX H100 SuperPODχρησιμοποιεί ένα πλήρες-δέντρο με οκτώ ανά-υπολογιστικές συνδέσεις συστήματος. Το αν αυτό το μοτίβο ταιριάζει στον φόρτο εργασίας σας είναι μια κρίση σχεδιασμού, αλλά η παραπάνω μέθοδος υπολογισμού ισχύει ανεξάρτητα από την τοπολογία.
Βήμα 3: Σχεδιάστε και τα τέσσερα υφάσματα και μετά επιστρέψτε στις ενότητες
Ένα σύμπλεγμα AI δεν είναι ένα δίκτυο. Οι αρχιτεκτονικές αναφοράς DGX SuperPOD χωρίζονταιυπολογισμός, αποθήκευση, διαχείριση ζώνης-και εκτός-διαχείρισης ζώνης-υφάσματα, και το καθένα παράγει τις δικές του απαιτήσεις θύρας και οπτικών.
Ουπολογισμός υφάσματοςφέρει ανταλλαγή κλίσης, συγχρονισμό παραμέτρων, συλλογές και λειτουργίες απομακρυσμένης μνήμης. Έχει τις πιο αυστηρές απαιτήσεις λανθάνουσας κατάστασης, συμφόρησης και συμμετρίας διαδρομής-και είναι το σημείο όπου το όρισμα 800G-έναντι-400G είναι πραγματικά διευθετημένο.
Ούφασμα αποθήκευσηςφέρει δεδομένα εκπαίδευσης, σημεία ελέγχου και μοντέλα τεχνουργημάτων. Η χωρητικότητά του εξαρτάται από τη μορφή δεδομένων, το ρυθμό επισκέψεων στην κρυφή μνήμη, τον παραλληλισμό του προγράμματος φόρτωσης δεδομένων, τη συχνότητα του σημείου ελέγχου και την ένταση των μεταδεδομένων -, γι' αυτό και το "400G είναι αρκετό για αποθήκευση" δεν είναι μια ασφαλής προεπιλογή. Οι αρχιτεκτονικές αναφοράς καθορίζουν την απόδοση αποθήκευσης σε επίπεδο συστήματος και την κρατούν μακριά από τον υπολογιστικό ιστό με ακρίβεια, έτσι ώστε τα δύο φορτία εργασίας να μην μπορούν να βλάψουν το ένα το άλλο.
Οσε-δίκτυο διαχείρισης ζώνηςφέρει παροχή, κίνηση προγραμματιστή, μητρώα, αποθετήρια και παρακολούθηση. Οεκτός-του-δικτύου ζώνηςφτάνει σε BMC, θύρες διαχείρισης μεταγωγέων και τροφοδοσία rack και πρέπει να παραμένει προσβάσιμο όσο το ύφασμα παραγωγής είναι σπασμένο. Αντιμετωπίστε το ως μια διαδρομή ανάκτησης και ασφάλειας με τη δική της ανοδική σύνδεση, όχι ως εναπομείνασα κίνηση χαμηλής-ταχύτητας.
Για την επιλογή της μονάδας, η πρακτική συνέπεια είναι η εξής: κάθε ύφασμα συνεισφέρει τον δικό του αριθμό θυρών, το δικό του προφίλ απόστασης και τον δικό του τύπο κλουβιού, και συχνά διαφέρουν. Ένα σύμπλεγμα μπορεί να είναι OSFP στον υπολογισμό και QSFP-DD για αποθήκευση και διαχείριση χωρίς να είναι κάτι λάθος.
Βήμα 4: Επιλέξτε 400G ή 800G από έναν περιορισμό, όχι από μια τάση
Μια θύρα 800G διπλασιάζει την ονομαστική χωρητικότητα. Δεν μειώνει την επισκεψιμότητα που δημιουργεί η εφαρμογή σας. Η τιμή του είναι σχεδόν πάντα δομικά - λιγότεροι σύνδεσμοι, καλύτερη απόδοση βάσης ή ένα εγγενές τελικό σημείο 800G.
Το 400G παραμένει η καλύτερη επιλογήόταν τα υπολογιστικά τελικά σημεία είναι εγγενώς 400G, το τρέχον ύφασμα ήδη πληροί τον στόχο αποκλεισμού του, το σύμπλεγμα αναπτύσσεται εντός του διαθέσιμου ριζώματος, υπάρχει ήδη ειδική μονάδα 400G και βάση καλωδίωσης ή οι περιορισμοί ισχύος και ψύξης καθιστούν το 800G μη ελκυστικό. Χρησιμοποιώντας 800Guplinksάνω των 400G διακομιστών εξακολουθεί να είναι απολύτως λογικό - αλλά δικαιολογείται από την παραπάνω αριθμητική θύρα, όχι από την ετικέτα.
Το 800G βελτιώνει τη σχεδίασηόταν οι διακομιστές εκθέτουν εγγενείς διεπαφές 800G, όταν πολλές ροές 400G πρέπει να συγκεντρωθούν σε λιγότερους συνδέσμους σπονδυλικής στήλης, όταν ο αριθμός θυρών μεταγωγής είναι ο δεσμευτικός περιορισμός ή όταν η διάσπαση από τα 800G σε διεπαφές θυγατρικών- χαμηλότερης ταχύτητας απλοποιεί μια μετεγκατάσταση. Δηλώθηκε με ακρίβεια: Το 800G μπορεί να μειώσει τον αριθμό των φυσικών συνδέσεων ή των θυρών εναλλαγήςσε σχέδια όπου η συγκέντρωση και η βάση είναι οι περιοριστικοί περιορισμοί. Δεν το κάνει ως νόμος της φύσης.

Η μικτή-Μετανάστευση ταχύτητας χρειάζεται ρητή τεκμηρίωση
Το Breakout είναι όπου τα σχέδια μεικτής-ταχύτητας αποτυγχάνουν αθόρυβα. Τα σύγχρονα NIC καθιστούν αυτό το διαμορφώσιμο αντί για σταθερό - ConnectX-8 της NVIDIAτεκμηρίωση διαχωρισμού θύρας-δείχνει έναν κλωβό 800G OSFP που αναδιαμορφώνεται σε δύο θύρες 400 GbE ή οκτώ θύρες 100 GbE, καθεμία από τις οποίες απαιτεί αλλαγή διαμόρφωσης επιπέδου υλικολογισμικού- και κύκλο ισχύος. Αυτή η ευελιξία υπάρχει μόνο όταν ο πωλητής την έχει δοκιμάσει και δημοσιεύσει.
Επομένως, ένα σχέδιο μετεγκατάστασης θα πρέπει να αναφέρει, ανά θύρα: ποιες θύρες εκτελούνται με ποια ταχύτητα, εάν ο κεντρικός υπολογιστής υποστηρίζει την προβλεπόμενη λειτουργία διακοπής, ο ρυθμός ηλεκτρικής λωρίδας και στα δύο άκρα, εάν η διάσπαση είναι λογική, οπτική ή καλωδιακή-, τη λειτουργία FEC που χρειάζεται κάθε θυγατρική διεπαφή, εάν ο υπάρχων αριθμός ινών και ο τύπος σύνδεσης μπορούν να επαναχρησιμοποιηθούν και πώς η παρακολούθηση θα αναγνωρίσει κάθε θυγατρική θύρα. Η εισαγωγή μιας μονάδας χαμηλότερης-ταχύτητας δεν καθιστά διαθέσιμη κάθε λειτουργία κεντρικού υπολογιστή.
QSFP-DD εναντίον OSFP
| Παράγοντας απόφασης | QSFP-DD | ΟΣΦΠ |
|---|---|---|
| QSFP-οικογενειακή συμβατότητα | Εγγενής, όπου ο κεντρικός υπολογιστής υποστηρίζει τη λειτουργία | Δυνατότητα για ορισμένες ενότητες μέσω ενός προσαρμογέα-που έχει κατασκευαστεί για συγκεκριμένο σκοπό |
| Μέγεθος μονάδας | Μικρότερος | Μεγαλύτερος |
| Θερμικός σχεδιασμός | Σχέδια ψύκτρας ιππασίας-. επαλήθευση σε πλήρη πληθυσμό | Ενσωματωμένη ψύκτρα ή ψύκτρα ιππασίας. Το MSA ορίζει υψηλότερες κατηγορίες ισχύος |
| Τυπική χρήση συστήματος AI- | Διακόπτες Ethernet, πλατφόρμες μεικτής-ταχύτητας | Αρκετές πλατφόρμες GPU και InfiniBand υψηλής-απόδοσης |
| Κανόνας απόφασης | Προτιμήστε όταν τα τελικά σημεία είναι εγγενή QSFP-Θέματα επαναχρησιμοποίησης DD και QSFP | Προτιμήστε όταν τα τελικά σημεία είναι εγγενή OSFP ή τα οπτικά χρειάζονται την ισχύ του |
Δύο αξιώσεις χρειάζονται περιορισμό. Πρώτον, το "OSFP δεν έχει συμβατότητα προς τα πίσω" είναι πολύ ευρύ - τοΟΣΦΠ ΜΣΑτεκμηριώνει τη συμβατότητα QSFP μέσω ενός αποκλειστικού προσαρμογέα και οι προδιαγραφές της μονάδας καθορίζουν τις υψηλότερες κατηγορίες ισχύος και τις ενσωματωμένες-επιλογές ψύκτρας που δίνουν στο OSFP τη θερμική του φήμη. Δεύτερον, ότι η φήμη είναι ένα ανώτατο όριο προδιαγραφών, όχι μια εγγύηση. Το αν ένα δεδομένο πλαίσιο μπορεί πραγματικά να λειτουργήσει μονάδες κλάσης 30W-σε κάθε κλωβό εξαρτάται από τη σχεδίαση του κλωβού, την κατεύθυνση ροής αέρα, τη θερμοκρασία εισόδου, την πολιτική ανεμιστήρα, τη μείωση της γειτονικής-θύρας και τα όρια του ίδιου του προμηθευτή συστήματος.
Αυτός είναι ο λόγος για τον οποίο η θερμική επικύρωση πλήρους-πληθυσμού δεν είναι-διαπραγματεύσιμη: μια μονάδα που περνά σε μια θύρα μπορεί να υπερβεί το όριο θερμοκρασίας της θήκης-όταν και οι 32 ή 64 θύρες είναι αναμμένες και πάλι όταν ένας ανεμιστήρας ή ένα τροφοδοτικό αστοχεί. Δοκιμάστε το γεμάτο σύστημα, στην πραγματική θερμοκρασία εισόδου σας.
Εάν ο διακομιστής είναι OSFP και ο διακόπτης είναι QSFP-DD, αντισταθείτε στην τυποποίηση του αντανακλαστικού. Οι αντάπτορες προσθέτουν μηχανική απόσταση, ροή αέρα, ισχύ, ακεραιότητα σήματος, απόθεμα και υποστήριξη. Ένα κατάλληλο-καλώδιο διασταύρωσης-συντελεστών ή μια οπτική σύνδεση με ταιριαστά PMD και FEC σε κάθε άκρο, είναι συχνά πιο καθαρό από την αντικατάσταση υλικού για να ταιριάζουν τα σχήματα.

Βήμα 5: Επιλέξτε τη σύνδεση με βάση τη μετρημένη απόσταση και την υπάρχουσα ίνα
Η χωρητικότητα και τα τελικά σημεία έχουν πλέον καθορίσει την ταχύτητα της θύρας και το κλουβί. Η απόσταση και η εγκατεστημένη μονάδα ινών διορθώνουν όλα τα άλλα. Ως οδηγός μηχανικής και όχι ως κανόνας, ο συντομότερος τεχνικά έγκυρος σύνδεσμος είναι συνήθως ο απλούστερος στη λειτουργία -, αλλά η ευελιξία, η διάμετρος του καλωδίου, η δυνατότητα συντήρησης και οι απαιτήσεις διακοπής λειτουργίας είναι όλα αντίθετα.
| Διαδρομή | Τυπική επιλογή | Τι να επιβεβαιώσω |
|---|---|---|
| Ενδο-ράφι, πολύ κοντό | Παθητικό DAC | Ακριβές μήκος και τύπος καλωδίου που υποστηρίζεται και στα δύο άκρα. ακτίνα κάμψης? βάρος |
| Κοντός αλλά πέρα από παθητικό χαλκό | AEC / ACC | Ανάληψη ισχύος, πρόσθετη καθυστέρηση, απόφραξη ροής αέρα, πιστοποίηση προμηθευτή, υποστήριξη λειτουργίας θύρας |
| Μικρό οπτικό, σταθερό μήκος αποδεκτό | AOC | Δυνατότητα συντήρησης - μια αποτυχία αντικαθιστά ολόκληρη τη διάταξη |
| Πολύτροπος, σε-σειρά σε διπλανή-σειρά | SR-κλάση παράλληλων οπτικών | Ποιότητα ινών και όρια επίτευξης. δείτε το δικό μαςΟδηγός ορίων απόστασης OM1–OM5 |
| Ενιαία-λειτουργία, υπο-χιλιόμετρο, επιθυμητή διάσπαση | DR-κλάση παράλληλων οπτικών | Μέγεθος MPO, πολικότητα, γυάλισμα APC/UPC, αντιστοίχιση ξεμπλοκαρίσματος |
| Ενιαία-λειτουργία, χιλιομετρική κλίμακα | FR-κατηγορία διπλής ή παράλληλης, ανάλογα με το προϊόν | Ο τύπος του συνδετήρα ποικίλλει ανάλογα με τον αριθμό εξαρτήματος. βαθμός ινών - συγκρίνετείνα μονής-λειτουργίας OS1 και OS2 |
Η εφαρμογή του συνδέσμου είναι η παγίδα εδώ, επειδή δεν υπονοείται από την οπτική ετικέτα. Οι πωλητές αποστέλλουν προϊόντα 800G DR8 είτε με διπλή συνδεσιμότητα MPO-12 ή απλή MPO-16 και προϊόντα κατηγορίας FR μήκους 2 km με παράλληλη MPO ή διπλή διπλή LC. Και οι δύο παραλλαγές είναι νόμιμες. χρειάζονται εντελώς διαφορετική καλωδίωση. Πριν παραγγείλετε κορμούς, διευθετήστε σκόπιμα την ερώτηση του συνδέσμου - μαςΟδηγός επιλογής MTP vs MPOκαλύπτει τις μηχανικές διαφορές και τις διαφορές πολικότητας, και τοΟδηγός καλωδίου διακοπής MPOκαλύπτει την αντιστοίχιση του ανεμιστήρα από την οποία εξαρτώνται οι θύρες ξεμπλοκαρίσματος.
Δύο ακόμη στοιχεία ανήκουν στην ίδια συνομιλία. Η απώλεια καναλιού πρέπει να υπολογίζεται βάσει των προδιαγραφών της μονάδας με τις συνδέσεις και τις συνδέσεις μετρημένες, χωρίς να θεωρείται ότι - βλ.πώς συσσωρεύεται η απώλεια εισαγωγής στα δίκτυα οπτικών ινών. Και η δομημένη καλωδίωση μεταξύ σειρών είναι ευκολότερο να διατηρηθεί όταν είναι χτισμένη σε προ-τερματισμένεςΚαλώδια κορμού MPO/MTPμε μια τεκμηριωμένη μέθοδο πολικότητας και όχι με συναρμολογημένες σειρές πεδίου-. Όπου χρησιμοποιούνται ζεύξεις διπλής όψης FR, η ποιότητα της τελικής επιφάνειας σύνδεσης επιστρέφει απευθείας απώλειες. οΟδηγός σύνδεσης LCκαλύπτει τι πρέπει να επιθεωρήσετε.
Για κάθε σύνδεση, καταγράψτε: κλουβί κεντρικού υπολογιστή, ρυθμός λωρίδας κεντρικού υπολογιστή, ταχύτητα ρυθμισμένης θύρας, τύπος PMD ή καλωδίου, σύνδεσμος, τύπος και μέτρηση ινών, μέγιστη απώλεια καναλιού, λειτουργία FEC, αντιστοίχιση διακοπής, κωδικός εφαρμογής μονάδας, απαίτηση CMIS και υλικολογισμικό, μέγιστη ισχύς και κατάσταση πιστοποίησης. Αυτή η εγγραφή ανά{1}}σύνδεσμο αξίζει περισσότερο από οποιονδήποτε γενικό κανόνα σχετικά με το πού πηγαίνει η οπτική.

RoCEv2 ή InfiniBand: Αποφασίστε αυτό ανεξάρτητα
Η επιλογή πρωτοκόλλου είναι ορθογώνια ως προς τον παράγοντα σχηματισμού και θα πρέπει να γίνεται για επιχειρησιακούς λόγους.
RoCEv2ταιριάζει σε οργανισμούς που χρησιμοποιούν ήδη Ethernet σε κλίμακα, με επικυρωμένα χαρακτηριστικά RoCE στην πλατφόρμα μεταγωγής και μια ομάδα ικανή να κατέχει QoS, έλεγχο συμφόρησης, τηλεμετρία και διαμόρφωση κεντρικού υπολογιστή. Η προειδοποίηση είναι ότι η "ενεργοποίηση PFC και ECN" δεν είναι σχέδιο ανάπτυξης. Η τεκμηρίωση Cumulus Linux της NVIDIA περιγράφειRoCE ως σύνθετη διαμόρφωσηπου εκτείνονται σε ομάδες προσωρινής αποθήκευσης, ταξινόμηση κυκλοφορίας, χαρτογράφηση προτεραιότητας, κατώφλια PFC και ECN και προγραμματισμός, με λειτουργία χωρίς απώλειες που χρησιμοποιεί PFC και ECN μαζί και λειτουργία απωλειών που χρησιμοποιεί μόνο ECN - και σημειώνει ότι η διαμόρφωση που δημιουργείται για μια γενιά ASIC διακόπτη δεν μεταφέρεται σε άλλη.
InfiniBandταιριάζει σε εφαρμογές που ακολουθούν μια επικυρωμένη αρχιτεκτονική προμηθευτή, όπου η ολοκληρωμένη διαχείριση υφασμάτων είναι πολύτιμη και η ομάδα έχει ήδη τα εργαλεία και την τεχνογνωσία.
Βασίστε την επιλογή στη δοκιμασμένη συμπεριφορά εφαρμογής, τις επιχειρησιακές δεξιότητες, τα όρια υποστήριξης και τον συνολικό σχεδιασμό του συστήματος. Τα ποσοστά απόδοσης μάρκετινγκ εξαρτώνται από την τοπολογία, την έκδοση λογισμικού, το μέγεθος του μηνύματος, την κατάσταση συμφόρησης και τη διαμόρφωση NIC και σπάνια μεταφέρονται σε άλλο σύμπλεγμα.
Επικύρωση: Τι να δοκιμάσετε πριν αγοράσετε σε όγκο
Μια αντιπροσωπευτική εργαστηριακή δοκιμή καλύπτει τέσσερις τομείς και η σειρά έχει σημασία - πρώτα τη σταθερότητα του συνδέσμου, επειδή οι αριθμοί απόδοσης από έναν ασταθή σύνδεσμο δεν έχουν νόημα.
Φέρτε-:ψυχρή εκκίνηση, θερμή επανεκκίνηση, εισαγωγή και αφαίρεση μονάδας, απενεργοποίηση/ενεργοποίηση θύρας, δημιουργία και αφαίρεση διαχωρισμού και επανεκκίνηση και των δύο άκρων σε διαφορετικές ακολουθίες.Ακεραιότητα σήματος:προ-FEC BER, διορθωμένα και μη διορθωμένα πλήθη FEC, σφάλματα λωρίδας-στάθμης, PRBS ή BERT όπου υποστηρίζεται, ισχύς οπτικής εκπομπής και λήψης, θερμοκρασία θήκης μονάδας και μετρήσεις πτερυγίων- συνδέσμων υπό θερμικό φορτίο.Εκτέλεση:παρατεταμένη απόδοση, τις συλλογικότητες και τα μεγέθη μηνυμάτων που χρησιμοποιούν στην πραγματικότητα οι εργασίες σας, ταυτόχρονη πολλαπλή-σιδηροδρομική κυκλοφορία, εισερχόμενη ροή, αποθήκευση-συν-υπολογιστική διαμάχη και μεγάλη διαμάχη.Αποτυχία:μεμονωμένος σύνδεσμος, διακόπτης φύλλων, σύνδεσμος σπονδυλικής στήλης, -ανάκτηση κύκλου ισχύος, αντικατάσταση καλωδίου και μονάδας, διαχείριση-απώλειας διαδρομής.
Καταγράψτε κατώφλια, όχι απλώς περάστε/αποτυχία. Τα μη διορθωμένα σφάλματα FEC θα πρέπει να είναι μηδενικά σε έναν υγιή σύνδεσμο. Τα ποσοστά σφάλματος προ-FEC θα πρέπει να βρίσκονται καλά μέσα στο καθορισμένο περιθώριο της μονάδας και να παραμένουν εκεί καθώς η θερμοκρασία της θήκης αυξάνεται κατά τη διάρκεια του εμποτισμού. Ένας σύνδεσμος που έχει ανοδική τάση κατά τη διάρκεια ενός 48ωρου εμποτισμού είναι ένας σύνδεσμος που θα αποτύχει στην παραγωγή.
Στη συνέχεια, αναπτύξτε έναν τομέα αποτυχίας - ένα ράφι, μία ράγα, ένα ζεύγος φύλλων ή μία κλιμακούμενη μονάδα κάθε φορά - και παρακολουθήστε αλλαγές κατάστασης συνδέσμου, μετρήσεις διορθωμένων και μη διορθωμένων FEC, θερμοκρασία μονάδας, οπτική ισχύ, δραστηριότητα παύσης PFC, σήμανση ECN, πληρότητα ουράς και επίπεδο επικοινωνίας{2}. Ένας σύνδεσμος που είναι ακόμα σε λειτουργία μπορεί να είναι ακόμα εξευτελιστικός. Η άνοδος διορθώθηκε-το σφάλμα και οι τάσεις θερμοκρασίας είναι η πρώτη προειδοποίηση που λαμβάνετε.
Τρία σενάρια σχεδίασης
Επέκταση ενός υπάρχοντος υφάσματος Ethernet 400G.Οι πιστοποιημένοι διακόπτες QSFP-DD 400G και η δομημένη καλωδίωση είναι ήδη σε ισχύ. νέοι κόμβοι εκθέτουν 400G. Διατηρήστε-τους συνδέσμους του διακομιστή στα 400G, εκτελέστε τον παραπάνω υπολογισμό ανοδικής ζεύξης για να ελέγξετε την αναλογία αποκλεισμού και εισαγάγετε το 800G μόνο όπου αγοράζει την απόδοση της θύρας σπονδυλικής στήλης. Χρησιμοποιήστε ξανά πιστοποιημένα οπτικά και οπτικές ίνες όπου το επιτρέπει ο προϋπολογισμός απώλειας και επικυρώστε κάθε μικτή-διαμόρφωση ξεσπάσματος ταχύτητας πριν από την αγορά. Το Switch radix οδηγεί αυτήν την απόφαση, όχι τον αριθμό GPU.
Δημιουργία ενός εγγενούς συμπλέγματος 800G-.Οι διακομιστές εκθέτουν το εγγενές 800G. Ακολουθήστε την επικυρωμένη τοπολογία του προμηθευτή του διακομιστή, επιλέξτε διακόπτες με τον αντίστοιχο εγγενή κλωβό, επαληθεύστε τη θερμική χωρητικότητα πλήρους-πληθυσμού στη θερμοκρασία εισόδου σας, επιλέξτε τη διασύνδεση από τα μετρημένα μήκη διαδρομής και επικυρώστε κάθε συνδυασμό διακοπής και FEC πριν από τη δέσμευση. Εδώ το 800G δικαιολογείται από το ίδιο το τελικό σημείο.
Ζώντας με δύο παράγοντες μορφής.Οι διακομιστές είναι OSFP. μέρος της περιουσίας μεταγωγής Ethernet είναι το QSFP-DD. Συγκρίνετε συγκροτήματα διασταυρούμενης-φόρμας-συντελεστών DAC ή AOC, οπτική διαλειτουργικότητα με διαφορετικούς κλωβούς σε κάθε άκρο, εγκεκριμένους προσαρμογείς, ισχύ και θερμικές επιπτώσεις, εφεδρικό απόθεμα και ιδιοκτησία υποστήριξης. Η αντικατάσταση μιας πλευράς καθαρά για την τυποποίηση του σχήματος της μονάδας είναι συχνά πιο ακριβή από τη λειτουργία ενός τεκμηριωμένου μικτού περιβάλλοντος.
Επτά λάθη που προκαλούν επανεργασία
- Ξεκινώντας από τον αριθμό GPU.Δεν περιγράφει τον αριθμό NIC, τη σιδηροδρομική χαρτογράφηση, το ποσοστό λιμένων ή την υπερσυνδρομή. Υπολογισμός από τις διεπαφές διακομιστή.
- Υποθέτοντας ότι τα 800G είναι πιο γρήγορα για κάθε εργασία.Βοηθά μόνο εκεί που μπορούν να το χρησιμοποιήσουν τα τελικά σημεία, η τοπολογία και το μοτίβο επισκεψιμότητας. Συγκρίνετε τις συλλογικότητες που πραγματικά διευθύνετε.
- Αντιμετώπιση του QSFP-DD ως πρωτοκόλλου.Είναι ένα κλουβί. Επικύρωση κλωβού, πρωτοκόλλου, ηλεκτρικής λειτουργίας, οπτικών και FEC ξεχωριστά.
- Αγνοώντας τα υφάσματα αποθήκευσης και διαχείρισης.Ένα γρήγορο ύφασμα υπολογισμού δεν μπορεί να αντισταθμίσει την αργή παράδοση σημείου ελέγχου ή ένα απρόσιτο BMC.
- Ανάγνωση της οπτικής ετικέτας ως προδιαγραφή καλωδίωσης.Τα DR8 και FR4 δεν καθορίζουν το σύνδεσμο, τον αριθμό ινών ή τη σχεδίαση σπασίματος. Χρησιμοποιήστε ακριβείς αριθμούς ανταλλακτικών και ένα διάγραμμα καλωδίωσης.
- Δοκιμή μιας θύρας.Η ροή αέρα πλήρους-πληθυσμού και η θερμοκρασία εισόδου είναι η πραγματική δοκιμή.
- Παράθεση ποσοστών απόδοσης χωρίς μέθοδο.Δημοσιεύστε την τοπολογία και τη μέθοδο δοκιμής ή αποθέστε τον αριθμό.
Δημιουργία ενός μοντέλου TCO που μπορείτε να υπερασπιστείτε
Το κόστος κεφαλαίου καλύπτει NIC ή DPU, διακόπτες φύλλων και ράχης, πομποδέκτες, DAC, AEC και AOC, κορμούς ινών και επιδιόρθωση, rack και διαχείριση καλωδίων, εξοπλισμό δοκιμής και ανταλλακτικά. Τα λειτουργικά έξοδα καλύπτουν την τροφοδοσία μονάδας και διακόπτη, ψύξη, παρακολούθηση, πιστοποίηση υλικολογισμικού, εκπαίδευση, εργασία αντικατάστασης και υποστήριξη από τον προμηθευτή. Κόστος κινδύνου - αυτά που συνήθως παραλείπονται - καλύπτουν αποτυχίες συμβατότητας, καθυστέρηση ανάπτυξης, θερμική μείωση, αστάθεια συνδέσμου, εκ νέου καλωδίωση, διακοπτόμενες εργασίες εκπαίδευσης και εκτεταμένο χρόνο αποκατάστασης.
Η συμβατότητα προς τα πίσω μειώνει πραγματικά το κόστος, αλλά η εξοικονόμηση πρέπει να υπολογιστεί από τον συγκεκριμένο εξοπλισμό που μπορεί να επαναχρησιμοποιηθεί με την απαιτούμενη ταχύτητα και λειτουργία. Η συμβατότητα φόρμας-από μόνη της δεν εγγυάται ότι το τρέχον ASIC, το PCB, ο κλωβός, το σύστημα ψύξης, το υλικολογισμικό ή ο προϋπολογισμός ισχύος μπορούν να λειτουργήσουν την επόμενη γενιά. Αντιμετωπίστε τη μελλοντική μετεγκατάσταση ταχύτητας ως ερώτηση πλατφόρμας, όχι ως ερώτηση σύνδεσης.
Συχνές Ερωτήσεις
Είναι το QSFP-DD κατάλληλο για cluster εκπαίδευσης AI;
Ναι, όταν είναι εγγενές στον επιλεγμένο διακόπτη ή τελικό σημείο, πληροί τις θερμικές απαιτήσεις σε πλήρη πληθυσμό θύρας και υποστηρίζει την απαιτούμενη λειτουργία θύρας και την οπτική διεπαφή. Ο ονομαστικός ρυθμός δεδομένων από μόνος του δεν είναι λόγος για να το επιλέξετε.
Πόσες GPU απαιτούν δικτύωση 800G;
Δεν υπάρχει όριο GPU. Υπολογίστε από θύρες δικτύου ανά διακομιστή, ταχύτητα θύρας, σιδηροδρομική χαρτογράφηση, τοπολογία, στόχο υπερσυνδρομής και επισκεψιμότητα εφαρμογής - τη μέθοδο στο Βήμα 2 παραπάνω.
Είναι το QSFP-DD καλύτερο από το OSFP;
Κανένα από τα δύο δεν είναι καθολικά καλύτερο. Το QSFP-Το DD προσφέρει εγγενή QSFP-οικογενειακή συμβατότητα και μικρότερο αποτύπωμα. Η προδιαγραφή του OSFP ορίζει υψηλότερες κατηγορίες ισχύος και ενσωματωμένες-επιλογές ψύκτρας και είναι εγγενές σε αρκετές πλατφόρμες τεχνητής νοημοσύνης υψηλής{4}}απόδοσης. Το τελικό σημείο αποφασίζει.
Μπορεί μια θύρα OSFP να χρησιμοποιήσει μια μονάδα QSFP;
Ορισμένες υλοποιήσεις OSFP υποστηρίζουν μονάδες QSFP μέσω ενός εγκεκριμένου προσαρμογέα, αλλά η συμβατότητα, η τροφοδοσία, η λειτουργία θύρας και η υποστήριξη προμηθευτή απαιτούν επαλήθευση για τη συγκεκριμένη πλατφόρμα.
Μπορεί το QSFP-DD να χρησιμοποιηθεί τόσο για Ethernet όσο και για InfiniBand;
Ο παράγοντας μορφής δεν καθορίζει το πρωτόκολλο. Η θύρα υποδοχής, το NIC, ο διακόπτης, το υλικολογισμικό, το καλώδιο και ο πομποδέκτης πρέπει να υποστηρίζουν τον προβλεπόμενο τρόπο λειτουργίας.
Ποιον πομποδέκτη 800G να χρησιμοποιήσω;
Ξεκινήστε από μετρημένη απόσταση, κλωβός τελικού σημείου, απαιτούμενη διάσπαση, τύπος ίνας, σύνδεσμος, ρυθμός λωρίδας, λειτουργία FEC, κατηγορία ισχύος και πιστοποίηση προμηθευτή. Το όνομα της οπτικής διεπαφής δεν επαρκεί από μόνο του.
Η συμβατότητα QSFP-DD προς τα πίσω εγγυάται μια εύκολη αναβάθμιση 1.6T;
Όχι. Η θύρα κεντρικού υπολογιστή μπορεί να δεχθεί τη μονάδα μηχανικά, ενώ ο προϋπολογισμός ASIC, PCB, κλωβού, ψύξης ή ισχύος δεν μπορεί να υποστηρίξει τη νέα ταχύτητα λωρίδας. Επαλήθευση σε επίπεδο πλατφόρμας.
Πριν υπογράψετε την εντολή αγοράς
Επιβεβαιώστε τον κλωβό τελικού σημείου και στα δύο άκρα κάθε τύπου συνδέσμου. τον αριθμό και την ταχύτητα των υπολογιστικών-fabric ports ανά κόμβο. η σιδηροδρομική χαρτογράφηση και η αναλογία υπερεγγραφής στόχου· αριθμός θυρών φύλλων και ράχης, συμπεριλαμβανομένου του πλεονασμού. τις απαιτήσεις και των τεσσάρων υφασμάτων· τον τρόπο λειτουργίας και, για το RoCE, τον πλήρη σχεδιασμό ελέγχου συμφόρησης-. τη μετρούμενη διαδρομή καλωδίου και την προκύπτουσα επιλογή διασύνδεσης· σύνδεσμος, πολικότητα και προϋπολογισμός απώλειας. FEC και λειτουργία breakout. ισχύς μονάδας έναντι πλήρους-θερμικών ορίων πληθυσμού. συμβατότητα υλικολογισμικού και CMIS. κατάσταση πιστοποίησης πωλητή· και εργαστηριακά αποτελέσματα για δοκιμές BER, απόδοση, συμφόρηση, αστοχία και εμποτισμό.
Το QSFP-DD υποστηρίζει καλά κλιμακούμενο ύφασμα AI 400G ή 800G. Εξακολουθεί να είναι μόνο ένα συστατικό του σχεδίου. Ξεκινήστε με τα τελικά σημεία και το μοντέλο κυκλοφορίας, υπολογίστε την τοπολογία, επιλέξτε τη φυσική σύνδεση από τη μετρούμενη απόσταση και επικυρώστε το συναρμολογημένο σύστημα προτού πραγματοποιήσει μια εργασία εκπαίδευσης.
Μεθοδολογία και Πεδίο εφαρμογής
Αυτός ο οδηγός βασίζεται σε τρία είδη πηγών και διατηρούνται σκόπιμα διακριτά στο παραπάνω κείμενο.Πρότυπα και έγγραφα MSAΤο - IEEE 802.3df, οι προδιαγραφές υλικού QSFP-DD και OSFP MSA και οι συμφωνίες υλοποίησης OIF CMIS - ορίζουν τους παράγοντες μορφής, τη σηματοδότηση και τη συμπεριφορά διαχείρισης.Τεκμηρίωση πωλητή- Οδηγοί συστήματος NVIDIA DGX, αρχιτεκτονικές αναφοράς DGX SuperPOD, σημειώσεις διαμόρφωσης 8 θυρών ConnectX- και τεκμηρίωση Cumulus Linux RoCE - αναφέρονται ως παράδειγμα συγκεκριμένου προμηθευτή και όχι ως καθολική συμπεριφορά. άλλες πλατφόρμες διαφέρουν.Οδηγίες μηχανικής- οι συμβουλές αλληλουχίας, η προτίμηση για συντομότερους συνδέσμους, τα όρια επικύρωσης - είναι επιχειρησιακές συστάσεις που προέρχονται από την πρακτική ανάπτυξης και επισημαίνονται ως τέτοιες αντί να παρουσιάζονται ως προδιαγραφές.