एआई क्लस्टर नेटवर्क डिज़ाइन: स्पाइन-लीफ, आरओसीई और एनआईसी

एआई क्लस्टर नेटवर्क डिज़ाइन जीपीयू सर्वर एनआईसी, लीफ {{0} स्पाइन बैंडविड्थ, ओवरसब्सक्रिप्शन अनुपात, आरओसीई सेटिंग्स, ऑप्टिक्स और केबलिंग को आकार देने की प्रक्रिया है ताकि वितरित प्रशिक्षण ट्रैफ़िक क्लस्टर स्केल के रूप में अनुमानित रहे। इनमें से कोई भी गलत होने पर नेटवर्क - न कि जीपीयू - बाधा बन जाता है।

एआई क्लस्टर नेटवर्किंग अलग क्यों है?

एक पारंपरिक एंटरप्राइज़ डेटा सेंटर में, नेटवर्क उत्तर-दक्षिण उपयोगकर्ता ट्रैफ़िक, स्टोरेज एक्सेस, वर्चुअलाइजेशन और प्रबंधन का मिश्रण संभालता है। पूर्व - पश्चिम यातायात मौजूद है लेकिन शायद ही कभी प्रमुख भार होता है। एआई क्लस्टर में, स्थिति पलट जाती है। GPU सर्वर वितरित प्रशिक्षण विनिमय ग्रेडिएंट चलाते हैं और कार्य के प्रत्येक चरण के दौरान मापदंडों को सिंक्रनाइज़ करते हैं। यह संचार गणना का हिस्सा है, इसका दुष्प्रभाव नहीं।

यदि $30,000 का GPU सभी कम परिचालनों के दौरान अपना 30% समय नेटवर्क पर प्रतीक्षा करने में बिताता है, तो क्लस्टर प्रभावी रूप से निष्क्रिय रहने के लिए अपनी गणना क्षमता का 30% भुगतान करता है। यही आर्थिक कारण है कि एआई नेटवर्किंग पर इतना ध्यान दिया जाता है।

तीन कार्यभार विशेषताएँ डिज़ाइन को संचालित करती हैं:

• तेज़ पूर्व-पश्चिम यातायात।सामूहिक संचार संचालन जैसे कि सभी {{0}कम करें, सभी-इकट्ठा करें और कम करें{{2}स्कैटर एक साथ कई नोड्स में सिंक्रनाइज़ बर्स्ट उत्पन्न करते हैं।
• पूँछ-विलंबता संवेदनशीलता।एक धीमा नोड पूरे प्रशिक्षण चरण में देरी करता है। पूर्वानुमानित विलंबता औसत विलंबता से अधिक मायने रखती है।
• विकास को स्केल करें-।32 जीपीयू से शुरू होने वाले क्लस्टर अक्सर 18 महीनों के भीतर 256 या 1,024 तक बढ़ जाते हैं। कपड़े को रीडिज़ाइन के बिना स्केल करना चाहिए।

स्पाइन क्यों -लीफ एआई क्लस्टर्स में फिट बैठता है

स्पाइन{0}लीफ़ हाइपरस्केल डेटा केंद्रों के लिए मानक फैब्रिक है क्योंकि यह प्रत्येक सर्वर को {{1}से{2}सर्वर पथ को समान हॉप काउंट और समान सैद्धांतिक बैंडविड्थ देता है। एआई कार्यभार के लिए, यह एकरूपता सीधे तौर पर अधिक पूर्वानुमानित प्रशिक्षण चरण समय में तब्दील हो जाती है।

स्पाइन {{0}लीफ टोपोलॉजी में, GPU सर्वर लीफ स्विच से कनेक्ट होते हैं, और प्रत्येक लीफ प्रत्येक स्पाइन से कनेक्ट होती है। कोई भी GPU-से-GPU संचार बिल्कुल एक पत्ती, एक रीढ़ और एक और पत्ती को पार करता है। परिवर्तनशील विलंबता या चोकप्वाइंट पेश करने वाली कोई एकत्रीकरण परतें नहीं हैं।

पूर्वानुमेय विलंबता

समान {{0}लागत बहु-पथ (ईसीएमपी) रूटिंग स्प्रेड स्पाइन स्विचों में प्रवाहित होता है। जब अनुकूली रूटिंग या डायनेमिक लोड बैलेंसिंग के साथ सही तरीके से कॉन्फ़िगर किया जाता है, तो यह हैश टकराव को रोकता है जिसके कारण कुछ प्रवाह दूसरों की तुलना में बहुत धीमा हो जाता है - स्थैतिक ईसीएमपी फैब्रिक में एक ज्ञात समस्या है जिसमें कम लेकिन बड़े प्रवाह होते हैं, जो वास्तव में एआई प्रशिक्षण उत्पन्न करता है।

उच्च द्विभाजन बैंडविड्थ

बाइसेक्शन बैंडविड्थ क्लस्टर के किन्हीं दो बराबर हिस्सों के बीच उपलब्ध थ्रूपुट है। एआई प्रशिक्षण को गैर-अवरुद्ध या करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब-करीब सर्वर के सामने आने वाली डाउनलिंक क्षमता के बराबर या लगभग बराबर होने वाले गैर-{1}अवरुद्ध या लगभग-नहीं-अवरुद्ध डिजाइनों से लाभ मिलता है। IETF इन अवधारणाओं को परिभाषित और चर्चा करता हैआरएफसी 7938, जो बड़े पैमाने पर डेटा केंद्रों में व्यापक रूप से उपयोग किए जाने वाले बीजीपी {{0} रूटेड क्लोस फैब्रिक को कवर करता है।

आसान स्केल-आउट

अधिक सर्वर जोड़ने के लिए अधिक पत्तियाँ जोड़ें। अधिक द्विभाजन बैंडविड्थ जोड़ने के लिए अधिक स्पाइन जोड़ें। कुछ हज़ार जीपीयू से अधिक के क्लस्टर के लिए, एक सुपर{2}}स्पाइन (5-स्टेज क्लोज़) या रेल-अनुकूलित टोपोलॉजी उसी सिद्धांत को एक परत आगे बढ़ाती है।

एआई क्लस्टर नेटवर्क के मुख्य घटक

जीपीयू सर्वर और एनआईसी

एनआईसी वह जगह है जहां कपड़ा मेजबान से मिलता है। एआई क्लस्टर में, एनआईसी चयन सब कुछ डाउनस्ट्रीम - स्विच पोर्ट स्पीड, ऑप्टिक्स विकल्प और केबलिंग घनत्व को संचालित करता है।

एआई कार्यभार के लिए चयन मानदंड:

• पोर्ट गति:200G, 400G या 800G प्रति पोर्ट। GPU जेनरेशन और PCIe बैंडविड्थ से मेल करें।
• पीसीआईई पीढ़ी:होस्ट साइड थ्रॉटलिंग से बचने के लिए 400G NIC को PCIe Gen5 x16 की आवश्यकता होती है। PCIe Gen4 x16 कैप्स ~256 Gbps पर प्रयोग योग्य।
• आरडीएमए और RoCEv2 समर्थन:एनसीसीएल जैसे कर्नेल - बायपास जीपीयू संचार पुस्तकालयों के लिए आवश्यक।
• जीपीयूडायरेक्ट आरडीएमए:होस्ट मेमोरी प्रतियों को हटाते हुए, सीधे GPU को - से {{1} NIC DMA की अनुमति देता है।
• बहु-रेल क्षमता:कई एआई सर्वर रेल अनुकूलित टोपोलॉजी के लिए प्रति नोड 4 या 8 एनआईसी, प्रति जीपीयू जोड़ी एक का उपयोग करते हैं।

एक सामान्य 8-जीपीयू सर्वर आज कार्यभार और बजट के आधार पर या तो 4×400जी एनआईसी (प्रति दो जीपीयू एक) या 8×400जी एनआईसी (एक प्रति जीपीयू) का उपयोग करता है। से संदर्भ आर्किटेक्चरNVIDIA नेटवर्किंग दस्तावेज़ीकरणडिज़ाइन ट्रेडऑफ़ को विस्तार से कवर करें।

पत्ती और रीढ़ स्विच

एआई फैब्रिक के लिए स्विच चयन मानदंड उद्यम चयन से भिन्न हैं। बफ़र आकार, भीड़ नियंत्रण व्यवहार और टेलीमेट्री सुविधा की चौड़ाई से अधिक मायने रखते हैं।

• प्रति-पोर्ट गति और मूलांक:51.2 Tbps स्विच ASIC 64× 800G पोर्ट या 128× 400G पोर्ट डिलीवर करता है। मूलांक यह निर्धारित करता है कि कपड़ा कितना सपाट हो सकता है।
• बफर आर्किटेक्चर:डीप बफ़र्स इनकास्ट बर्स्ट को अवशोषित करते हैं लेकिन विलंबता जोड़ते हैं। उथले बफ़र्स विलंबता को कम करते हैं लेकिन सटीक भीड़ नियंत्रण की आवश्यकता होती है।
• RoCE सुविधा सेट:ईसीएन अंकन, पीएफसी, डीसीक्यूसीएन या समतुल्य भीड़ नियंत्रण, और प्राथमिकता कतारों का उचित प्रबंधन अंत से {{0} से अंत तक।
• टेलीमेट्री:इनबैंड नेटवर्क टेलीमेट्री (आईएनटी), प्रति{0}क्यू डेप्थ रिपोर्टिंग, और ईसीएन मार्क्स और पीएफसी पॉज़ के लिए माइक्रोसेकंड{1}रिज़ॉल्यूशन काउंटर।

ऑप्टिक्स, डीएसी और एओसी केबलिंग

400G और 800G पर, केबलिंग प्लांट एक वास्तविक इंजीनियरिंग समस्या बन जाता है। फॉर्म फैक्टर, लिंक बजट और ब्रेकआउट कॉन्फ़िगरेशन सभी के लिए शीघ्र योजना की आवश्यकता होती है।

• डीएसी (डायरेक्ट अटैच कॉपर):400G के लिए ~3 मीटर तक, सबसे कम लागत और सबसे कम बिजली। पैमाने पर भारी और बोझिल.
• AOC (सक्रिय ऑप्टिकल केबल):~30 मीटर तक, डीएसी से पतला, लेकिन निश्चित लंबाई वाला और दोनों सिरों पर प्रकाशिकी शक्ति की खपत करता है।
• प्लग करने योग्य प्रकाशिकी:AOC दूरी से अधिक आवश्यक. QSFP-DD और OSFP फॉर्म कारक 400G/800G पर हावी हैं। एमपीओ/एमटीपी फाइबर असेंबली समानांतर फाइबर कनेक्शन को संभालती हैं।

400G/800G पर इंटररैक लिंक और संरचित केबलिंग के लिए, MPO टर्मिनेशन पर समानांतर ऑप्टिक्स अब मानक हैं। ट्रंक केबल और ब्रेकआउट असेंबलियों के बीच चयन आपके स्विच पोर्ट आवंटन पर निर्भर करता है - हमारा देखेंएमपीओ ब्रेकआउट केबल गाइडव्यावहारिक चयन तर्क और व्यापक के लिएएमपीओ ट्रंक बनाम ब्रेकआउट तुलनाजब योजना बनाई जाती है तो पत्ती {{0} से {{1} रीढ़ की हड्डी तक चलती है।

एआई फैब्रिक्स में आरओसीई और दोषरहित ईथरनेट

RoCEv2 (कन्वर्जेड ईथरनेट v2 पर आरडीएमए) एआई वर्कलोड के लिए प्रमुख ईथरनेट ट्रांसपोर्ट है। यह एनआईसी को किसी भी छोर पर कर्नेल की भागीदारी के बिना सीधे जीपीयू मेमोरी क्षेत्रों के बीच डेटा स्थानांतरित करने देता है। NCCL, लगभग सभी वितरित प्रशिक्षण ढाँचों में अंतर्निहित GPU संचार लाइब्रेरी, InfiniBand उपलब्ध नहीं होने पर RoCEv2 का उपयोग करती है।

सही तरीके से कॉन्फ़िगर होने पर RoCE अच्छी तरह से काम करता है। गलत तरीके से कॉन्फ़िगर किए जाने पर यह बदसूरत हो जाता है।इन्फ़िनीबैंड ट्रेड एसोसिएशनआरओसीई विनिर्देशों को प्रकाशित करता है, और अधिकांश एनआईसी और स्विच विक्रेता विस्तृत कॉन्फ़िगरेशन गाइड प्रकाशित करते हैं जिनका पालन अंत तक किया जाना चाहिए।

दोषरहित व्यवहार क्यों मायने रखता है

आरडीएमए को दोषरहित परिवहन मानकर डिजाइन किया गया था। जब पैकेट गिरते हैं, तो आरडीएमए पुनर्प्राप्ति महंगी होती है - वापस जाएं {{2}वापस जाएं {{3}एन रीट्रांसमिशन मिलीसेकंड के लिए एक प्रशिक्षण चरण को रोक सकता है, जो कि माइक्रोसेकंड {{4}स्केल आरडीएमए बजट के सापेक्ष बहुत बड़ा है।

ईथरनेट पर दोषरहित व्यवहार का अनुमान लगाने के लिए, फैब्रिक एक साथ काम करने वाले दो तंत्रों का उपयोग करता है:

• पीएफसी (प्राथमिकता प्रवाह नियंत्रण, आईईईई 802.1क्यूबीबी):जब इसका बफ़र भर जाता है तो एक स्विच एक विशिष्ट प्राथमिकता कतार पर आने वाले ट्रैफ़िक को रोक देता है। यह एक आखिरी सहारा तंत्र है.
• ईसीएन (स्पष्ट भीड़ अधिसूचना, आरएफसी 3168):जब कतारें एक सीमा तक पहुंचती हैं तो मार्क पैकेट स्विच करता है। बफ़र्स वास्तव में भरने से पहले एनआईसी अपनी प्रेषण दर कम कर देता है, आदर्श रूप से पीएफसी से पूरी तरह से बचता है।

ईसीएन का लक्ष्य सुरक्षा जाल के रूप में पीएफसी के साथ लगभग सभी भीड़भाड़ प्रबंधन करना है। यदि आपको स्थिर स्थिति वाले ट्रैफ़िक में बार-बार पीएफसी रुकता हुआ दिखाई देता है, तो इसका मतलब है कि आपकी ईसीएन सीमा गलत है या आपका फैब्रिक कम आकार का है।

सामान्य RoCE परिनियोजन विफलताएँ

एआई क्लस्टर नेटवर्क कैसे डिज़ाइन करें: एक कार्यशील रूपरेखा

यह वह अनुभाग है जिसे अधिकांश "एआई नेटवर्किंग" लेख छोड़ देते हैं। नीचे दिए गए सात चरण आपको प्रत्येक चरण में ठोस इनपुट और आउटपुट देते हैं।

चरण 1: कार्यभार और पैमाने को परिभाषित करें

इनपुट:कार्यभार प्रकार (प्रीट्रेनिंग, फाइन-ट्यूनिंग, अनुमान, मिश्रित), आज लक्ष्य जीपीयू गणना, 18 महीनों में लक्ष्य जीपीयू गणना, मॉडल आकार सीमा।

आउटपुट:एक कार्यभार प्रोफ़ाइल जो एनआईसी की गति और ओवरसब्सक्रिप्शन सहनशीलता को सूचित करती है। सीमांत मॉडलों के बड़े पूर्व-प्रशिक्षण के लिए गैर-अवरुद्ध 400G+ फैब्रिक की आवश्यकता होती है। ठीक-ठाक -ट्यूनिंग कार्यभार 2:1 ओवरसब्सक्रिप्शन को सहन कर सकता है। अनुमान समूहों को अक्सर कम बैंडविड्थ लेकिन कम पूंछ विलंबता की आवश्यकता होती है।

चरण 2: प्रति सर्वर एनआईसी स्पीड और गणना चुनें

निर्णय तर्क:

• बड़े मॉडलों की प्रीट्रेनिंग, 8-जीपीयू सर्वर → प्रति सर्वर 4–8× 400G एनआईसी, या 4× 800G
• मध्य स्तर का प्रशिक्षण, 8-जीपीयू सर्वर → प्रति सर्वर 2-4× 400जी एनआईसी
• अनुमान सर्विंग → प्रति सर्वर 1-2× 200जी या 400जी एनआईसी, मॉडल समानता पर निर्भर करता है

होस्ट पर PCIe बैंडविड्थ सत्यापित करें। एकल 400G पोर्ट को लाइन रेट पर चलाने के लिए PCIe Gen5 x16 की आवश्यकता होती है; 800G तक दोगुना करने के लिए Gen6 या दो स्लॉट में विभाजन की आवश्यकता होती है।

चरण 3: पत्ती की परत को आकार दें

कार्यान्वित उदाहरण - 32-नोड क्लस्टर, प्रति नोड 8 जीपीयू, प्रति नोड 4× 400जी एनआईसी:

• कुल सर्वर के लिए आवश्यक फेसिंग पोर्ट्स: 400जी पर 32 × 4=128 पोर्ट्स
• प्रति नोड डाउनलिंक बैंडविड्थ: 4 × 400=1.6 टीबीपीएस
• कुल क्लस्टर डाउनलिंक बैंडविड्थ: 32 × 1.6=51.2 टीबीपीएस

64-पोर्ट 400G लीफ स्विच (25.6 Tbps कुल क्षमता) का उपयोग करके, प्रत्येक लीफ 32 सर्वर पोर्ट को कनेक्ट कर सकता है और शेष 32 पोर्ट को अपलिंक के रूप में उपयोग कर सकता है। 4 पत्तों के साथ, आप सभी 128 सर्वर पोर्ट को कवर करते हैं। प्रत्येक पत्ती रीढ़ की ओर 32 × 400G=12.8 Tbps अपलिंक का योगदान करती है।

चरण 4: रीढ़ की हड्डी की परत को आकार दें

गैर--अवरुद्ध (1:1) डिज़ाइन के लिए, कुल अपलिंक क्षमता कुल डाउनलिंक क्षमता के बराबर होनी चाहिए। चरण 3 से:

• कुल लीफ अपलिंक की आवश्यकता: 4 लीफ × 12.8 टीबीपीएस=51.2 टीबीपीएस
• यदि प्रत्येक स्पाइन में 32× 400G पोर्ट=12.8 Tbps है, तो आपको 4 स्पाइन की आवश्यकता है
• प्रत्येक पत्ती 8 अपलिंक प्रति स्पाइन (8 × 400G × 4=12.8 Tbps प्रति पत्ती - मिलान) का उपयोग करके सभी 4 स्पाइन से जुड़ती है।

यदि 64-पोर्ट 400जी स्पाइन स्विच का उपयोग किया जाता है, तो प्रत्येक स्पाइन में क्लस्टर को विकसित करने की अतिरिक्त क्षमता होती है, जो चरण 1 से 18-महीने की योजना के लिए उपयोगी होती है।

चरण 5: ओवरसब्सक्रिप्शन अनुपात सेट करें

चरण 6: गणना, भंडारण और प्रबंधन ट्रैफ़िक को अलग करें

अलगाव बढ़ाने के क्रम में तीन विकल्प:

• QoS कक्षाओं के साथ साझा सामग्री:अलग-अलग डीएससीपी प्राथमिकताओं पर गणना, भंडारण और प्रबंधन। निम्नतम लागत; सावधानीपूर्वक QoS कॉन्फ़िगरेशन की आवश्यकता है.
• तार्किक रूप से अलग किए गए वीएलएएन/वीआरएफ:समान हार्डवेयर, अलग नियंत्रण विमान। बहु-किरायेदार समूहों के लिए उपयोगी।
• भौतिक रूप से अलग कपड़े:गणना बनाम भंडारण के लिए समर्पित एनआईसी, स्विच और केबलिंग। उच्चतम लागत; सीमांत -मॉडल क्लस्टरों में आम है जहां कोई भी विवाद अस्वीकार्य है।

एआई के लिए स्टोरेज ट्रैफिक अपने आप में भारी है - एक बड़े मॉडल के लिए चेकपॉइंट राइट्स छोटी अवधि में सैकड़ों गीगाबाइट स्थानांतरित कर सकता है। इसके लिए स्पष्ट रूप से योजना बनाएं. एक उच्च-घनत्व संरचित केबलिंग संयंत्र का उपयोग करनाएमपीओ/एमटीपी ट्रंक केबलसमान भौतिक बुनियादी ढांचे में समानांतर फैब्रिक चलाने को सरल बनाता है।

चरण 7: उत्पादन से पहले सत्यापित करें

नेटवर्क स्तर के परीक्षण में कुछ समस्याएं पकड़ में आती हैं। कार्यभार स्तर के परीक्षण बाकी को पकड़ लेते हैं।

• बैंडविड्थ:प्रत्येक नोड जोड़ी के बीच iperf3 या ib_send_bw; एनआईसी लाइन दर का 90%+ तक पहुंचना चाहिए।
• विलंबता:ib_read_lat या समान; वितरण की जाँच करें, न कि केवल औसत की। P99.9 माध्य से अधिक मायने रखता है।
• पैकेट हानि:लोड के तहत 24{1}}घंटे सोख परीक्षण चलाएँ; RoCE ट्रैफ़िक वर्ग में कोई भी गैर-शून्य हानि एक समस्या है।
• ईसीएन अंकन व्यवहार:सत्यापित करें कि पीएफसी में आग लगने से पहले निशान दिखाई देते हैं; यदि स्थिर अवस्था में पीएफसी का रुकना बार-बार होता है, तो पुनः ट्यून करें।
• सामूहिक संचार:पूर्ण क्लस्टर आकार पर एनसीसीएल परीक्षण (all_reduce_perf, all_gather_perf) चलाएँ। विक्रेता संदर्भ संख्याओं से तुलना करें।
• नौकरी-स्तर का परीक्षण:4-6 घंटे के लिए प्रतिनिधि प्रशिक्षण कार्य चलाएँ। उचित आकार के मॉडल पर GPU उपयोग - का 50% से नीचे निरंतर मान देखना आमतौर पर एक नेटवर्क समस्या का संकेत देता है।

पारंपरिक डेटा सेंटर नेटवर्क बनाम एआई स्पाइन-लीफ फैब्रिक

ईथरनेट RoCE बनाम InfiniBand: त्वरित निर्णय गाइड

यह प्रश्न लगभग हर AI क्लस्टर प्रोजेक्ट में उठता है। दोनों काम करते हैं। चुनाव आम तौर पर परिचालन संबंधी फिट के आधार पर होता है, न कि शुद्ध प्रदर्शन के आधार पर।

• InfiniBand चुनें यदि:आपकी टीम पहले से ही InfiniBand फ़ैब्रिक का संचालन करती है, आप दोषरहित परिवहन के लिए सबसे सरल मार्ग चाहते हैं, या आप पूरी तरह से एकीकृत विक्रेता संदर्भ आर्किटेक्चर खरीद रहे हैं।
• ईथरनेट RoCE चुनें यदि:आपकी परिचालन टीम ईथरनेट मूल निवासी है, आप बहु {{1} विक्रेता स्विच विकल्प चाहते हैं, आपको मौजूदा डेटा सेंटर नेटवर्क के साथ एआई फैब्रिक को एकीकृत करने की आवश्यकता है, या आप वर्तमान इनफिनीबैंड टोपोलॉजी द्वारा समर्थित स्केल से परे स्केलिंग की आशा करते हैं।

2023 में गठित अल्ट्रा ईथरनेट कंसोर्टियम, विशेष रूप से एआई वर्कलोड के लिए ईथरनेट संवर्द्धन को मानकीकृत करने पर सक्रिय रूप से काम कर रहा है। 2026 में अधिकांश नए समूहों के लिए, ईथरनेट आरओसीई एक रक्षात्मक डिफ़ॉल्ट है जब तक कि अन्यथा चुनने का कोई विशेष कारण न हो।

बचने के लिए सामान्य गलतियाँ

एनआईसी की जांच किए बिना स्विचों को अपग्रेड करना

यदि आपका एनआईसी 400जी पर चलता है या आपके होस्ट पीसीआईई की बैंडविड्थ खत्म हो जाती है तो 800जी स्विच फैब्रिक आपके लिए कुछ नहीं करता है। पहले होस्ट साइड डिज़ाइन करें, फिर स्विच साइड। PCIe Gen5 x16 एक एकल पोर्ट को लगभग 504 Gbps वास्तविक {{7} विश्व थ्रूपुट - तक सीमित करता है, जो 400G के लिए आरामदायक है, 800G के लिए सीमांत है।

पोर्ट स्पीड को अनुकूलित करना लेकिन केबलिंग घनत्व को नजरअंदाज करना

64400जी पोर्ट पर, योजना के बिना प्रत्येक स्विच के नीचे केबल लगाना शारीरिक रूप से असहनीय हो सकता है। जहां उपयुक्त हो वहां ब्रेकआउट केबल का उपयोग करें, संरचित मार्गों के माध्यम से फाइबर को रूट करें, और कनेक्टर प्रकारों पर मानकीकरण करें। उच्च गति पर कनेक्टर की गुणवत्ता और समाप्ति मायने रखती है - हमाराफाइबर ऑप्टिक कनेक्टर प्रकार गाइडएलसी, एमपीओ और उभरते हुए उच्च घनत्व फॉर्म कारकों के बीच ट्रेडऑफ़ को कवर करता है।

RoCE को प्लग{{0}और-प्ले के रूप में मानना

वास्तविक एआई क्लस्टर में सबसे बड़ी डिज़ाइन गलती गलत स्विच नहीं चुनना है - यह कम अनुमान लगा रही है कि अंत तक कितने RoCE कॉन्फ़िगरेशन कार्य की आवश्यकता है। ईसीएन थ्रेशोल्ड, पीएफसी प्राथमिकताओं और एमटीयू स्थिरता को समायोजित करने के लिए बजट समय। किसी भी उत्पादन कार्यभार के चलने से पहले एक समर्पित सत्यापन चरण की योजना बनाएं।

QoS के बिना सभी ट्रैफ़िक को एक फ़ैब्रिक पर मिलाना

भंडारण प्रतिकृति, निगरानी एजेंट और प्रबंधन ट्रैफ़िक, यदि वे कंप्यूट ट्रैफ़िक के साथ बफ़र्स साझा करते हैं, तो प्रशिक्षण चरण के समय को बर्बाद कर सकते हैं। या तो उन्हें भौतिक रूप से अलग करें या अलग प्राथमिकताओं और ईसीएन कॉन्फ़िगरेशन के साथ सख्त क्यूओएस कक्षाएं लागू करें।

केवल आज के क्लस्टर के लिए भवन

अधिकांश AI क्लस्टर प्रारंभिक तैनाती के दो वर्षों के भीतर 4-8× बढ़ जाते हैं। स्विच रेडिक्स और स्पाइन क्षमता चुनें जो गैर-विघटनकारी विस्तार की अनुमति देता है। लाइव एआई डेटा सेंटर में केबल खींचना महंगा है; तैनाती के समय नाली और पैच क्षमता की योजना बनाना सस्ता है।

400G से 800G तक कब कदम बढ़ाएं

800जी एनआईसी और स्विच उपलब्ध हैं लेकिन प्रति पोर्ट अधिक महंगे हैं। आगे बढ़ने पर विचार करें जब:

• प्रति -GPU बैंडविड्थ की आवश्यकता 400G द्वारा प्रदान की जा सकने वाली क्षमता से अधिक है - उदाहरण के लिए, H100 और NVLink 5 के साथ नए GPU उच्च बाहरी बैंडविड्थ की उम्मीद करते हैं
• एनसीसीएल क्लस्टर आकार के साथ समय पैमाने को खराब तरीके से कम करता है, जो नेटवर्क संतृप्ति का संकेत देता है
• 400G पर केबल घनत्व भौतिक रूप से असहनीय होता जा रहा है - कम 800G पोर्ट अधिक 400G पोर्ट की जगह ले सकते हैं
• आपके रोडमैप में अगली GPU पीढ़ी को क्लस्टर की मूल्यह्रास विंडो के भीतर इसकी आवश्यकता होने की उम्मीद है
• आप एक सीमांत मॉडल प्रशिक्षण क्लस्टर का निर्माण कर रहे हैं, जहां किसी भी गणना के निष्क्रिय समय की लागत ऑप्टिक्स अपग्रेड की तुलना में काफी अधिक है

2026 में अधिकांश उत्पादन समूहों के लिए, 400जी लागत, पारिस्थितिकी तंत्र की परिपक्वता और क्षमता का सही संतुलन बना हुआ है।

निष्कर्ष

सबसे मजबूत एआई क्लस्टर नेटवर्क सबसे तेज़ स्विच वाला नहीं है। यह वह जगह है जहां एनआईसी की पसंद, लीफ/स्पाइन साइजिंग, ओवरसब्सक्रिप्शन, आरओसीई कॉन्फ़िगरेशन, ट्रैफिक पृथक्करण और भौतिक केबलिंग सभी एक-दूसरे का समर्थन करते हैं और जिस कार्यभार के लिए उन्हें चुना गया था।

कार्यभार और 18{3}}माह की विकास योजना से शुरुआत करें। केवल सामान्य नियमों का नहीं, बल्कि वास्तविक संख्याओं का उपयोग करके प्रत्येक परत पर बैंडविड्थ आवश्यकताओं की गणना करें। RoCE को अंत से {{4} से अंत तक कॉन्फ़िगर करें और वास्तविक सामूहिक संचार बेंचमार्क के साथ मान्य करें। केबलिंग प्लांट के लिए बजट - 400G और 800G पर, भौतिक परत अब मामूली नहीं रह गई है।

वह क्लस्टर जो प्रत्येक प्रशिक्षण चरण के माध्यम से अपने जीपीयू को 95%+ उपयोग पर व्यस्त रखता है, उसने इन सभी परतों पर ध्यान दिया है। जो क्लस्टर तेज़ स्विच और धीमे फैब्रिक के साथ आता है, वह यह समझाने में वर्षों लगा देगा कि GPU निष्क्रिय क्यों हैं।

अग्रिम पठन

• आरएफसी 7938 - बीजीपी बड़े पैमाने पर डेटा केंद्र
• इन्फ़िनीबैंड ट्रेड एसोसिएशन - आरओसीई विनिर्देश
• NVIDIA नेटवर्किंग दस्तावेज़ीकरण
• फाइबर ऑप्टिक केबल इंस्टालेशन गाइड
• निवेशन हानि बनाम वापसी हानि की व्याख्या