100G QSFP28 Spine-Σχεδίαση φύλλων: Αποφύγετε τα λάθη στο λιμάνι

Ένα ύφασμα ράχης 100G-είναι ένας από τους πιο αξιόπιστους τρόπους σύνδεσης διακομιστών 25G, ανερχόμενων συνδέσμων 100G, συμπλεγμάτων αποθήκευσης και μεγάλου φόρτου εργασίας ανατολικά-δυτικά- σε ένα σύγχρονο κέντρο δεδομένων. Η γοητεία του QSFP28 είναι η ευελιξία του: μια μεμονωμένη θύρα μπορεί να μεταφέρει μια εγγενή σύνδεση 100G ή να διασπαστεί σε τέσσερις συνδέσεις διακομιστή 25G, έτσι ώστε ένας διακόπτης να μπορεί να εξυπηρετεί τόσο την άκρη πρόσβασης όσο και τον πυρήνα υφάσματος.

Οι γρήγοροι διακόπτες είναι το εύκολο κομμάτι. Ένας σχεδιασμός 100G ζει ή πεθαίνει από τις αποφάσεις που λαμβάνονται πριν από την παραγγελία: πώς κατανέμεται κάθε θύρα, πώς φαίνεται η αναλογία υπερσυνδρομής υπό κανονικές συνθήκες και συνθήκες αστοχίας, ποια οπτικά ταιριάζουν με τις πραγματικές διαδρομές καλωδίων, πόση θερμότητα προσθέτουν αυτά τα οπτικά και εάν το ύφασμα μπορεί να αυξηθεί στα 400 G χωρίς αναβάθμιση περονοφόρου.

Αυτός ο οδηγός είναι μια αναφορά{0}}ουδέτερου προγραμματισμού προμηθευτή για ομάδες δικτύου και υποδομής. Τα παρακάτω σχήματα ακολουθούν τις τρέχουσες προδιαγραφές IEEE 802.3 Ethernet και τις σχετικές συμβάσεις οπτικών πολλαπλών-πηγών, αλλά κάθε διακόπτης και πομποδέκτης έχει το δικό του φύλλο δεδομένων, επομένως επιβεβαιώστε τους ακριβείς αριθμούς για το υλικό που αγοράζετε.

Πώς να διαβάσετε τα παραδείγματα σε αυτόν τον οδηγό.Εκτός εάν ορίζεται διαφορετικά, υποθέτουν μεμονωμένους-κεντρικούς διακομιστές με ένα NIC 25G ο καθένας, 48 θύρες κεντρικού υπολογιστή ανά φύλλο, 100G φύλλα-προς-ανερχόμενες συνδέσεις σπονδυλικής στήλης, ένα πλήρες πλέγμα στο οποίο κάθε φύλλο συνδέεται με κάθε σπονδυλική στήλη και η διόρθωση σφαλμάτων προώθησης ενεργοποιημένη όπου το απαιτεί η οπτική. Διπλή-homing, ταχύτερα NIC ή διαφορετικές θύρες θα αλλάξουν κάθε αριθμό που ακολουθεί.

Τι είναι ένα δίκτυο 100G Spine-Leaf;

Το Spine-leaf είναι μια αρχιτεκτονική κέντρων δεδομένων δύο-επιπέδων που έχει κατασκευαστεί από διακόπτες φύλλων και διακόπτες ράχης. Οι διακόπτες φύλλων βρίσκονται στο επάνω μέρος κάθε rack και παρέχουν-θυρίδες με όψη στο διακομιστή και ανοδικές συνδέσεις στη σπονδυλική στήλη. Οι διακόπτες σπονδυλικής στήλης αποτελούν τον κορμό υψηλής-ταχύτητας. Κάθε φύλλο συνδέεται με κάθε ράχη, επομένως η κίνηση μεταξύ των ραφιών μετακινείται από φύλλο σε ράχη σε φύλλο κατά μήκος μιας διαδρομής ίσου-μήκους.

Ο σχεδιασμός είναι δημοφιλής επειδή προσφέρει:

• Προβλέψιμο, ίσο μήκος διαδρομής μεταξύ οποιωνδήποτε δύο ραφιών
• Εγγενής υποστήριξη για βαριά ανατολική-δυτική κυκλοφορία
• Όλες οι ανερχόμενες ζεύξεις είναι ενεργές μέσω του ECMP αντί να μπλοκάρονται από εκτεινόμενο δέντρο
• Απλή οριζόντια κλιμάκωση - προσθέστε φύλλα για θύρες, προσθέστε αγκάθια για χωρητικότητα

Σε ένα ύφασμα 100G, οι σύνδεσμοι-προς-από τη σπονδυλική στήλη εκτελούνται στα 100G, ενώ οι θύρες που αντιμετωπίζουν{4}}διακομιστές λειτουργούν στα 10G, 25G, 50G ή 100G ανάλογα με τον φόρτο εργασίας. Σήμερα, η πρόσβαση 25G με uplinks 100G είναι ο πιο συνηθισμένος εταιρικός συνδυασμός.

Φυσικός Σχεδιασμός vs Λογικός Σχεδιασμός

Ο "σχεδιασμός δικτύου" καλύπτει δύο επίπεδα που είναι εύκολο να συγχωνευθούν. Αυτός ο οδηγός επικεντρώνεται στις θύρες του επιπέδου φυσικής και χωρητικότητας -, την οπτική, την υπερσυνδρομή, την καλωδίωση - επειδή αυτό δεσμεύεστε όταν αγοράζετε υλικό. Αλλά το λογικό στρώμα αποφασίζει πώς το ύφασμα προωθεί την κυκλοφορία και διαμορφώνει πολλές φυσικές επιλογές.

Στη φυσική πλευρά, κάθεται διακόπτης και επιλογή θύρας, ταχύτητες NIC, υπερσυνδρομή, οπτικά, καλωδίωση, τροφοδοσία και ψύξη. Στη λογική πλευρά, το φορτίο ECMP-εξισορροπεί τις ανοδικές συνδέσεις. μια επικάλυψη όπως το VXLAN με ένα επίπεδο ελέγχου BGP EVPN για το επίπεδο 2 και το επίπεδο 3 πολλαπλών-ενοικιαστών σε ένα δρομολογημένο υπόστρωμα. διπλή-homing με MLAG ή MC-LAG και LACP στην άκρη πρόσβασης. και αποτυχία-μέγεθος τομέα. Για τα υφάσματα RDMA πρέπει επίσης να δημιουργήσετε ένα σχεδόν-δίκτυο χωρίς απώλειες, που καλύπτεται παρακάτω. Τακτοποιήστε νωρίς το λογικό μοντέλο, επειδή επηρεάζει τον αριθμό των ανοδικών συνδέσμων, τον αριθμό των ακίδων που θέλετε για το πλάτος του ECMP και εάν τα φύλλα αναπτύσσονται ως ζεύγη MLAG.

Βήμα 1 - Ορίστε την ταχύτητα διακομιστή και τον φόρτο εργασίας

Ξεκινήστε με τον φόρτο εργασίας, όχι με τα οπτικά. Ένα γενικό σύμπλεγμα εικονικοποίησης, ένα ύφασμα αποθήκευσης και μια ομάδα εκπαίδευσης AI έχουν πολύ διαφορετικές ανάγκες και ο σωστός σχεδιασμός ακολουθεί την κίνηση.

Διακομιστές 25G με uplinks 100G

Για τα περισσότερα εταιρικά και ιδιωτικά-περιβάλλοντα cloud, η πρόσβαση 25G με 100G φύλλα-σε-ανερχόμενες συνδέσεις είναι το γλυκό σημείο: ένα μεγάλο άλμα πάνω από 10G διατηρώντας παράλληλα το κόστος NIC, καλωδίου και διακόπτη σε λογικό επίπεδο. Μια τυπική έκδοση συνδυάζει κατερχόμενους συνδέσμους 25G, ανερχόμενους συνδέσμους 100G και αναλογία 2:1 προς 3:1 για γενικούς υπολογισμούς, με χαμηλότερη υπερσυνδρομή που προορίζεται για ευαίσθητα επίπεδα αποθήκευσης και καθυστέρησης-. Ταιριάζει με την εικονικοποίηση, το ιδιωτικό σύννεφο, τα επίπεδα ιστού και το μεγαλύτερο μέρος των εταιρικών κέντρων δεδομένων.

Native 100G για αποθήκευση, AI και HPC

Ορισμένοι φόρτοι εργασίας χρειάζονται εγγενή 100G στον διακομιστή: κατανεμημένο και NVMe-αποθηκευτικού χώρου, εκπαίδευση τεχνητής νοημοσύνης και μηχανικής-εκμάθησης, HPC, αναλυτικά στοιχεία μεγάλης-κλίμακας και RDMA χαμηλού-λανθάνοντος χρόνου. Εδώ η υπερσυνδρομή θα πρέπει να είναι χαμηλή - συχνά χωρίς-αποκλείουσα ή κοντά σε αυτήν - επειδή το μοτίβο επισκεψιμότητας είναι το πρόβλημα και όχι μόνο η ένταση.

Οι φόρτοι εργασίας AI, HPC και RDMA δημιουργούν πυκνή, συγχρονισμένη κίνηση από-{-όλα προς τα ανατολικά-δυτικά: πολλοί κόμβοι μεταδίδονται σε πολλούς κόμβους την ίδια στιγμή, επομένως η στατιστική εξομάλυνση που σας εξοικονομεί σε ένα ύφασμα εικονικοποίησης δεν ισχύει πλέον. Το RDMA μέσω Converged Ethernet (RoCE) προσθέτει έναν δεύτερο περιορισμό, επειδή αναμένει ένα σχεδόν-ύφασμα χωρίς απώλειες, που στην πράξη σημαίνει έλεγχο ροής προτεραιότητας (PFC) και ρητή ειδοποίηση συμφόρησης (ECN) συντονισμένα από άκρο σε άκρο. Ένα ύφασμα που ρίχνει τα καρέ υπό συμφόρηση θα παρακολουθεί την απόδοση του RoCE να καταρρέει, επομένως αυτά τα συμπλέγματα κατασκευάζονται συνήθως σε αναλογία 1:1 με προσεκτική διαμόρφωση buffer και συμφόρησης.

Βήμα 2 - Πώς να υπολογίσετε τις θύρες διακόπτη φύλλων και σπονδυλικής στήλης για ένα ύφασμα 100 G

Ο σχεδιασμός του λιμανιού ξεκινά από το φύλλο, όχι από τη ράχη. Εργαστείτε προς τα έξω από τους διακομιστές:

1. Μετρήστε τις θύρες που αντιμετωπίζουν-διακομιστές ανά rack.
2. Αποφασίστε εάν το καθένα είναι εγγενές 25G, εγγενές 100G ή λωρίδα διακοπής.
3. Κρατήστε θύρες QSFP28 για ανοδικές συνδέσεις σπονδυλικής στήλης.
4. Προσθέστε εφεδρικές θύρες για ανάπτυξη, πλεονασμό, δοκιμή και αντικατάσταση.
5. Υπολογίστε εκ νέου την υπερσυνδρομή μετά την εκχώρηση του διαχωρισμού, όχι πριν.

Καταμέτρηση θυρών που αντιμετωπίζουν-διακομιστές

Για κάθε rack, καρφιτσώστε τον αριθμό διακομιστών, την ταχύτητα NIC, τα NIC ανά διακομιστή, ένα- ή διπλό-αρχικό και απαιτούμενα ανταλλακτικά. Ένα rack 48 διακομιστών με ένα NIC 25G ο καθένας χρειάζεται 48 θύρες κεντρικού υπολογιστή. Διπλή-αρχή αυτών των διακομιστών σε ένα ζεύγος φύλλων και ο αριθμός της θύρας πρόσβασης στο ζεύγος διπλασιάζεται.

Κρατήστε θύρες ανερχόμενης ζεύξης και παρακολουθήστε το διπλό-μέτρημα

Μετά τις θύρες υποδοχής, δεσμεύστε τις θύρες QSFP28 για τη σπονδυλική στήλη. Εδώ κρύβεται το πιο συνηθισμένο λάθος: αν χρησιμοποιούνται οι ίδιες θύρες QSFP28 για 4x25G breakout, δεν είναι πλέον διαθέσιμες ως uplinks. Το μοναδικό μεγαλύτερο σφάλμα προγραμματισμού δεν είναι η εσφαλμένη καταμέτρηση των ανοδικών συνδέσεων 100G, αλλά η υπερεκτίμηση των θυρών ανοδικής ζεύξης που έχουν απομείνει όταν οι θύρες ανερχόμενης ζεύξης έχουν καταρρεύσει. Αναθέστε ξεκάθαρα αποτελέσματα πριν από τα μαθηματικά της υπερσυνδρομής ή η αναλογία που υπολογίσατε είναι φανταστική.

Ένα επεξεργασμένο παράδειγμα βοηθάει. Πάρτε ένα κοινό φύλλο 1U με 48 θύρες κεντρικού υπολογιστή SFP28 και 8 θύρες QSFP28:

Με έξι uplinks που μεταφέρουν τα 1.200G της κίνησης πρόσβασης, το φύλλο εκτελείται σε αναλογία 2:1 και δύο θύρες QSFP28 παραμένουν αποθεματικές. Δώστε σε κάθε θύρα έναν μεμονωμένο, σαφή ρόλο σε ένα υπολογιστικό φύλλο προτού μετρήσετε οτιδήποτε άλλο.

Αφήστε πλεονάζουσα χωρητικότητα

Μην καταναλώνετε κάθε θύρα την πρώτη μέρα. Κρατήστε ελεύθερο χώρο για νέους διακομιστές, επιπλέον ακίδες, προσωρινούς δοκιμαστικούς συνδέσμους, αποτυχημένες-εναλλαγές θυρών, πατήματα παρακολούθησης και μετεγκατάσταση. Μια μικρή αχρησιμοποίητη χωρητικότητα είναι πολύ φθηνότερη από έναν επανασχεδιασμό.

Βήμα 3 - Υπολογισμός υπερσυνδρομής, συμπεριλαμβανομένου του N-1

Η υπερσυνδρομή συγκρίνει το συνολικό εύρος ζώνης-που αντιμετωπίζει ο διακομιστής σε ένα φύλλο με το συνολικό εύρος ζώνης ανοδικής ζεύξεως προς τη σπονδυλική στήλη:

Αναλογία υπερσυνδρομής=συνολικό εύρος ζώνης κατερχόμενης σύνδεσης / συνολικό εύρος ζώνης ανόδου

Για το πάνω φύλλο, 48 x 25G=1,200G κάτω και 6 x 100G=600G επάνω, δίνοντας 1.200 / 600=2:1. Αυτό σημαίνει διπλάσιο θεωρητικό εύρος ζώνης πρόσβασης από το εύρος ζώνης ανοδικής ζεύξης - συνήθως καλό για γενικούς υπολογισμούς, όπου οι διακομιστές σπάνια μεταδίδουν όλοι με ρυθμό γραμμής ταυτόχρονα, αλλά αποτελεί πραγματικό περιορισμό για αποθήκευση, AI, HPC και RDMA.

Ελέγχετε πάντα τη θήκη N-1

Ένα ύφασμα μπορεί να φαίνεται υγιές σε κανονική λειτουργία και να πνίγεται κατά τη διάρκεια μιας αστοχίας. Σκεφτείτε ένα φύλλο με οκτώ ανερχόμενους συνδέσμους 100 G ομοιόμορφα απλωμένους σε τέσσερις ράχες - δύο ανά ράχη, συνολικά 800 G, επομένως 1.200 G πρόσβασης δίνει 1,5:1. Χάστε μια ράχη και το φύλλο πέφτει δύο ανοδικές ζεύξεις στα 600G, ωθώντας την αναλογία στο 2:1 για τη διάρκεια της διακοπής. Εάν ο στόχος σας δεν είναι χειρότερος από 2:1 ακόμη και σε περίπτωση αποτυχίας, πρέπει να ξεκινήσετε κοντά στο 1,5:1. Υπολογίστε τόσο την κανονική αναλογία όσο και την αναλογία N-1 μετά την απώλεια μιας σπονδυλικής στήλης ή ανοδικής ζεύξης. ο δεύτερος αριθμός είναι αυτός που δαγκώνει κατά τη συντήρηση.

Ο προγραμματισμός κυμαίνεται ανά φόρτο εργασίας

Δεν υπάρχει καθολική αναλογία, επομένως θεωρήστε τα ακόλουθα ως εύρη προγραμματισμού, όχι ως πρότυπα και επικυρώστε έναντι της μετρημένης επισκεψιμότητας όπου μπορείτε:

Σε μια αναβάθμιση, ελέγξτε την τρέχουσα χρήση ανερχόμενης ζεύξης, τα μοτίβα αιχμής και ανατολικής-δύσης, τις ροές αποθήκευσης και τα εφεδρικά παράθυρα προτού δεσμευτείτε σε μια αναλογία.

Βήμα 4 - Επιλέξτε QSFP28 Optics and Cables

Οι διεπαφές QSFP28 100G είναι τυποποιημένες από το IEEE 802.3 - τοΤροποποίηση 802,3 bmπρόσθεσε 100GBASE-SR4, παράλληλα με την μονή-λειτουργία LR4 PHY. Επιλέξτε οπτικά ανά απόσταση, τύπο ίνας, βύσμα, τροφοδοσία και συμβατότητα διακόπτη και αντισταθείτε στην προεπιλογή στη μεγαλύτερη απόσταση: η προσέγγιση που δεν χρειάζεστε συνήθως σημαίνει κόστος και ισχύ που δεν χρειάζεστε. Ταιριάξτε τη μονάδα στην εκτέλεση με ένα λογικό περιθώριο.

DAC και AOC για σύντομους συνδέσμους διακομιστή

Για συνδέσεις σε-ράφι και γειτονικά-rack, το QSFP28 απευθείας-προσάρτησης χάλκινου (DAC) και ενεργού οπτικού καλωδίου (AOC) είναι πρακτικό. Το παθητικό DAC ταιριάζει στις πιο σύντομες πηδήξεις - λίγα μέτρα - με το χαμηλότερο κόστος και ισχύ, ενώ το AOC επεκτείνει την εμβέλεια και είναι ελαφρύτερο και πιο ευέλικτο όπου ο όγκος χαλκού δημιουργεί πρόβλημα. Για πρόσβαση 25G, το DAC ή το AOC διαχωρισμού QSFP28-to-4x SFP28 είναι σύνηθες όταν ο διακόπτης υποστηρίζει διακοπή.

100GBASE-SR4 για σύντομες ανοδικές συνδέσεις πολλαπλών λειτουργιών

Το SR4 μεταφέρει 100Gοκτώ ίνες παράλληλων πολύτροπωνχρησιμοποιώντας μια υποδοχή MPO/MTP, η οποία την καθιστά μια οικονομικά-αποτελεσματική επιλογή για κοντές-σε-ράχες σε μια σειρά. Η απήχησή του εξαρτάται από τον βαθμό ίνας - περίπου 70 m στο OM3 και 100 m στο OM4 -, επομένως αξίζει να γνωρίζετε την προσέγγιση που μπορείτε να περιμένετε απόΠολυτροπική ίνα OM3, OM4 και OM5στον όροφο σας. Ο κύριος περιορισμός σχεδιασμού είναι η παράλληλη καλωδίωση: η επιδιόρθωση MPO και η πολικότητα πρέπει να εξεταστούν εκ των προτέρων.

Το CWDM4 ή το FR για μονή-λειτουργία τρέχει σε περίπου 2 χλμ

Για συνδέσμους μεταξύ-σειράς, μεταξύ-δωματίων ή μεταξύ-χώρων, τα οπτικά μονής-λειτουργίας όπως CWDM4 ή FR ταιριάζουν καλύτερα. Ο100G CWDM4 MSAορίζει μια απόσταση 2 km σε ένα μόνο ζεύγος ινών μονής-λειτουργίας με βύσμα διπλής όψης LC και FEC. Επειδή χρησιμοποιούν οπτικές ίνες διπλής όψης αντί για παράλληλες MPO, τα οπτικά CWDM4 και FR συχνά πέφτουν σε μια μονάδα μονής-λειτουργίας πιο καθαρά από το SR4 - και σε αυτές τις αποστάσεις η επιλογή μεταξύίνα μονής-λειτουργίας OS1 και OS2αρχίζει να έχει σημασία για τον προϋπολογισμό απωλειών σας. Οι πιο σύντομες παραλλαγές μονής-λειτουργίας, όπως το DR, καλύπτουν περίπου 500 μέτρα όπου αυτό είναι το μόνο που χρειάζεστε.

100GBASE-LR4 για την πανεπιστημιούπολη και το DCI

Το LR4 είναι η επιλογή μακράς-προσβάσεως, που μεταφέρει 100Gέως περίπου 10 χλμ. σε ίνα διπλής-μονόδρομης λειτουργίαςγια συνδέσμους διασύνδεσης πανεπιστημιούπολης,-προς-κτηρίου ή δεδομένων-κέντρων-. Χρησιμοποιήστε το μόνο όπου η απόσταση το απαιτεί πραγματικά. μακράς-οπτικής προσέγγισης σε σύντομο άλμα εντός-δεδομένων-απλώς προσθέτουν κόστος, ισχύ και θερμότητα χωρίς να βελτιώνουν το ύφασμα.

QSFP28 100Σύγκριση οπτικών G

Ο πίνακας συνοψίζει πού ταιριάζει κάθε επιλογή. Αντιμετωπίστε τις επιδόσεις ως τυπικά στοιχεία σχεδιασμού και επιβεβαιώστε τους ακριβείς αριθμούς, την ποιότητα ινών και τις απαιτήσεις FEC στο φύλλο δεδομένων κάθε ενότητας.

Παραδείγματα εργασίας: Μικρά, μεσαία και μεγάλα υφάσματα

Αυτά είναι απλοποιημένα μοντέλα σχεδιασμού, όχι σχεδιαγράμματα. Ο αριθμός σπονδυλικής στήλης επιλέγεται συνήθως για να διαιρεί ομοιόμορφα τις ανοδικές ζεύξεις και να ορίζει το πλάτος ECMP: δύο αγκάθια είναι το πρακτικό ελάχιστο για πλεονασμό, τέσσερις δίνουν λεπτότερη κοκκοποίηση N-1 και καλύτερη κατανομή φορτίου και οκτώ ταιριάζουν σε μεγάλα υφάσματα. Ο αριθμός φύλλων κλιμακώνεται με τις θύρες διακομιστή που χρειάζεστε.

Μικρό ύφασμα

• Διακόπτες 8 φύλλων
• 2 διακόπτες σπονδυλικής στήλης
• 48 x 25G θύρες διακομιστή ανά φύλλο
• 4 x 100 G uplinks ανά φύλλο
• 384 μονές-homed θύρες διακομιστή 25G

Ανά φύλλο: 1.200 γραμ. προς τα κάτω, 400 γραμ. επάνω, άρα 3:1. Λειτουργικό για γενικούς υπολογισμούς, αλλά σφιχτό για βαριά αποθήκευση ή AI. Προσθέστε uplinks ή περικοπή πρόσβασης ανά φύλλο, εάν χρειάζεστε χαμηλότερη αναλογία.

Μεσαίο ύφασμα

• Διακόπτες 16 φύλλων
• 4 διακόπτες σπονδυλικής στήλης
• 48 x 25G θύρες διακομιστή ανά φύλλο
• 6 x 100 G uplinks ανά φύλλο
• 768 μονές-homed θύρες διακομιστή 25G

Ανά φύλλο: 1.200G προς τα κάτω, 600G προς τα πάνω, άρα 2:1. Μια σταθερή ισορροπία για εικονικοποίηση και εταιρικούς φόρτους εργασίας και τέσσερις άξονες διαδίδουν το ECMP καλύτερα από δύο.

Μεγάλο ύφασμα

• Διακόπτες 32 φύλλων
• 8 διακόπτες σπονδυλικής στήλης
• 48 x 25G θύρες διακομιστή ανά φύλλο
• 8 x 100 G uplinks ανά φύλλο
• 1.536 μονές-homed θύρες διακομιστή 25G

Ανά φύλλο: 1.200 γραμμάρια κάτω, 800 γραμμάρια πάνω, άρα 1,5:1. Περισσότερος χώρος ανοδικής σύνδεσης, αλλά περισσότερη οπτική, ίνα, κόστος, ισχύς και καλωδίωση για διαχείριση. Σε αυτή την κλίμακα, η τεκμηρίωση αποτελεί μέρος του σχεδιασμού: η επισήμανση, οι χάρτες λιμένων, η πολικότητα, η εφεδρική οπτική, η ροή αέρα και η παρακολούθηση πρέπει να προγραμματιστούν πριν από την εγκατάσταση.

QSFP28 Breakout Planning (100G έως 4x25G)

Το Breakout είναι το πιο χρήσιμο και πιο παρεξηγημένο μέρος του σχεδιασμού QSFP28. Όπου ο διακόπτης, το καλώδιο και η διαμόρφωση το επιτρέπουν, μια θύρα QSFP28 χωρίζεται σε τέσσερις συνδέσμους 25G SFP28, συνδέοντας τέσσερις διακομιστές 25G από μία θύρα 100G. Κερδίζει τη θέση του όταν χρειάζεστε υψηλή πυκνότητα 25G, έχετε πολλές θύρες QSFP28, θέλετε να μειώσετε το κόστος ανά σύνδεση διακομιστή ή χτίζετε ένα μεταβατικό ύφασμα 25G/100G, χρησιμοποιώντας QSFP28-to-4x SFP28 DAC, AOC ήΚαλώδια διακοπής MTP/MPOανάλογα με την απόσταση.

Το πρόβλημα είναι ότι το breakout καταναλώνει θύρες QSFP28. Εάν ένας διακόπτης QSFP28 32{9}}θυρών αφιερώνει 16 θύρες σε 4x25G, αυτές οι 16 θύρες υποστηρίζουν 64 διακομιστές - αλλά απομένουν μόνο 16 θύρες QSFP28 για uplinks, αποθήκευση, διασυνδέσεις και ανταλλακτικά. Ο εμπειρικός κανόνας είναι να μετράτε πρώτα τις θύρες ξεμπλοκαρίσματος και μετά να μετράτε ό,τι απομένει για τις ανοδικές συνδέσεις.

Πριν δεσμευτείτε, επιβεβαιώστε μερικά πράγματα και αποφασίστε νωρίς εάν κάθε τρέξιμο πρέπει να είναι απορτμπαγκάζ ή ένα συγκρότημα σπασίματος:

• Ποιες θύρες υποστηρίζουν το breakout και υπάρχουν περιορισμοί ομάδας θυρών-;
• Η ενεργοποίηση του breakout απενεργοποιεί τις παρακείμενες θύρες;
• Το λειτουργικό σύστημα μεταγωγής υποστηρίζει τη λειτουργία που χρειάζεστε;
• Οπτικά DAC, AOC ή breakout για κάθε εκτέλεση;
• Χρειάζονται και οι τέσσερις λωρίδες τώρα ή μόνο αργότερα;
• Πώς θα επηρεάσει το breakout μια μελλοντική μετάβαση σε εγγενείς διακομιστές 100G;

Διαχείριση ρεύματος, ψύξης και καλωδίων

Ένα ύφασμα 100G παράγει περισσότερο από εύρος ζώνης - παράγει θερμότητα, φορτίο ροής αέρα και πυκνότητα καλωδίου. Ο προϋπολογισμός ισχύος θα πρέπει να καλύπτει το πλαίσιο και τους ανεμιστήρες του διακόπτη, τις οπτικές μονάδες QSFP28 (και DAC ή AOC όπου χρησιμοποιούνται), τις πλεονάζουσες προμήθειες, τη χωρητικότητα{4}} σε επίπεδο rack και το περιθώριο ανάπτυξης. Η ψύξη θα πρέπει να ευθύνεται για τη ζεστή- και την ψυχρή-διάταξη του διαδρόμου, τη σταθερή μπροστινή{-πίσω ή από πίσω--μπροστινή ροή αέρα, τα κενά πάνελ, την απόφραξη καλωδίων, τη θερμοκρασία περιβάλλοντος και την παρακολούθηση θερμοκρασίας της μονάδας{12}, επειδή η σπονδυλική στήλη είναι γεμάτη με θερμικό φορτίο.

Η καλωδίωση κλιμακώνεται γρήγορα: 16 φύλλα έως 4 ράχη είναι ήδη 64 σύνδεσμοι-προς-ράχη, καθένας από τους οποίους πρέπει να φέρει ετικέτα, να δρομολογηθεί, να δοκιμαστεί και να τεκμηριωθεί. Ένα πλήρες-δικτυωτό ύφασμα είναι πολύ πιο εύκολο στην κατασκευή και συντήρηση με προ-τερματισμόMPO/MTP καλωδίωση κορμούπαρά με ίνα με τερματισμό πεδίου-. Οι ομάδες θα πρέπει επίσης να διευθετήσουν τις συμβάσεις σύνδεσης και πολικότητας εκ των προτέρων. οπρακτικές διαφορές μεταξύ MTP και MPOαξίζει να επιβεβαιώσετε πριν παραγγείλετε. Η ακατάλληλη τεκμηρίωση δεν κοστίζει τίποτα την πρώτη μέρα και πολύ κατά την πρώτη διακοπή.

Σχεδιασμός για αναβάθμιση 400G

Σχεδιάστε το ύφασμα με μια ρεαλιστική διαδρομή αναβάθμισης. Δεν χρειάζεστε 400G παντού την πρώτη μέρα, αλλά θα πρέπει να αποφύγετε επιλογές που κάνουν τη μετακόμιση οδυνηρή αργότερα. Αρχίστε να σκέφτεστε την ετοιμότητα 400G όταν οι uplinks της σπονδυλικής στήλης έχουν ήδη φορτωθεί πολύ, όταν η προσθήκη περισσότερων 100G spines γίνεται δύσκολη, όταν οι μετρήσεις διαδρομών ECMP πλησιάζουν στα όρια της πλατφόρμας ή όταν η ανάπτυξη AI, αποθήκευσης ή ανατολικής-δυτικής ανάπτυξης επιταχύνεται.

Η συνήθης στρατηγική είναι να αναβαθμίσετε πρώτα τη σπονδυλική στήλη: τα φύλλα διατηρούν τους ανερχόμενους συνδέσμους των 100 G ενώ μια-ράχη μεγαλύτερης χωρητικότητας - χρησιμοποιώντας θύρες όπως π.χ.QSFP-DDΤο - προσθέτει ελεύθερο χώρο, συχνά με τις θύρες 400G να ξεσπούν σε 4x100G πίσω προς τα υπάρχοντα φύλλα. Η ευρύτερη τροχιά καθορίζεται από τη βιομηχανία: ηΟδικός χάρτης Ethernet Allianceτρέχει τώρα μέσω 400G, 800G και πέρα, σε μεγάλο βαθμό με γνώμονα την τεχνητή νοημοσύνη. Όταν αξιολογείτε τους διακόπτες, βεβαιωθείτε ότι η πλατφόρμα υποστηρίζει τις ταχύτητες, τα οπτικά στοιχεία, τις λειτουργίες διακοπής λειτουργίας και τα χαρακτηριστικά λογισμικού που θα χρειαστούν μια σταδιακή αναβάθμιση.

Όταν μια σπονδυλική στήλη 100 G-Το σχέδιο φύλλων δεν είναι η σωστή επιλογή

Αυτό το σχέδιο δεν είναι καθολικό, και μερικές περιπτώσεις απαιτούν κάτι άλλο. Μια χούφτα διακομιστών σε ένα ή δύο rack σπάνια δικαιολογεί μια πλήρη κατασκευή-φύλλων, όπου ένα ζεύγος περιττών διακοπτών είναι απλούστερο και φθηνότερο. Πολύ μεγάλα συμπλέγματα εκπαίδευσης τεχνητής νοημοσύνης μπορεί να ξεπεράσουν αυτό που χειρίζεται καλά ένα ύφασμα ράχης 100G και 100G, προσγειωμένοι σε υφάσματα 400G ή 800G - ή ακόμα και σε ένα αποκλειστικό δίκτυο InfiniBand - από την αρχή. Και αν σχεδόν όλη η κίνηση είναι βόρεια-νότια προς μια πύλη και όχι ανατολικά-δυτικά μεταξύ των ράφια, τα ανατολικά-δυτικά πλεονεκτήματα της σπονδυλικής στήλης-έχουν μικρότερη σημασία, επομένως η τοπολογία θα πρέπει να δικαιολογείται για λόγους ανάπτυξης και λειτουργίας αντί να υποτίθεται. Ταιριάξτε την αρχιτεκτονική με την κίνηση και την κλίμακα και όχι το αντίστροφο.

Συνήθη 100G Σπονδυλικής Στήλης-Λάθη σχεδίασης φύλλων

• Μετρώντας δύο φορές τις θύρες QSFP28.Μια θύρα είναι είτε 4x25G breakout είτε uplink 100G, ποτέ και τα δύο. Δώστε σε κάθε λιμάνι έναν ρόλο.
• Επιλογή οπτικών με μέγιστη εμβέλεια.Η μεγαλύτερη εμβέλεια προσθέτει κόστος και ισχύ. αντιστοιχίστε την οπτική με την πραγματική απόσταση και τον τύπο της ίνας.
• Αγνοώντας το N-1.Ελέγξτε την αναλογία κατά τη διάρκεια της κανονικής λειτουργίας και μετά την απώλεια μιας σπονδυλικής στήλης.
• Ξεχνώντας την οπτική ισχύ και τη θερμότητα.Μια ράχη γεμάτη μονάδες QSFP28 είναι ένα γνήσιο θερμικό φορτίο, επομένως συμπεριλάβετε την οπτική στα μαθηματικά ισχύος και ψύξης.
• Αντιμετώπιση της καλωδίωσης ως εκ των υστέρων.Η δρομολόγηση, η επισήμανση, η πολικότητα και η τεκμηρίωση ανήκουν στον σχεδιασμό και όχι στην εγκατάσταση.
• Σχεδιασμός μόνο για τη σημερινή ταχύτητα διακομιστή.Εάν η πρόσβαση 25G μετατοπιστεί στα 100G, αφήστε χώρο για εγγενή 100G ή ράχη 400G.

Σύναψη

Ένας καλός σχεδιασμός φύλλων 100G-είναι το άθροισμα των αποφάσεων που λαμβάνονται πριν από την άφιξη του υλικού: ορίστε τον φόρτο εργασίας, μετρήστε σωστά τις θύρες, υπολογίστε την υπερσυνδρομή τόσο σε κανονικές όσο και σε συνθήκες αποτυχίας, επιλέξτε οπτικά ανά απόσταση, σχεδιάστε σκόπιμα τη διάσπαση, προϋπολογισμό για τροφοδοσία και ψύξη και αφήστε χώρο για 400 G. Για τα περισσότερα εταιρικά κέντρα δεδομένων, η πρόσβαση 25G με ανοδικές συνδέσεις 100G QSFP28 παραμένει μια ισχυρή ισορροπία απόδοσης, κόστους και κλίμακας, ενώ η αποθήκευση, η τεχνητή νοημοσύνη και το HPC απαιτούν απλώς χαμηλότερη υπερσυνδρομή και αυστηρότερη επικύρωση. Η αξιόπιστη προσέγγιση δεν αλλάζει: σχεδιάστε από τον διακομιστή προς τα έξω, αποδείξτε τα μαθηματικά υπό κανονικές συνθήκες και συνθήκες N-1 και τεκμηριώστε κάθε σύνδεσμο πριν από την ανάπτυξη.