AI अनुमान नेटवर्क के लिए InfiniBand बनाम RoCE

InfiniBand and RoCE network comparison for AI inference

चुननाइन्फिनीबैंडजब आपका अनुमान कार्यभार पूर्वानुमेय पूंछ विलंबता द्वारा जीवित या समाप्त हो जाता है, और चुनेंआरओसीई(आरडीएमए ओवर कन्वर्ज्ड ईथरनेट) जब आप ईथरनेट फैब्रिक पर आरडीएमए श्रेणी का प्रदर्शन चाहते हैं तो आप पहले से मौजूद टीम के साथ स्केल कर सकते हैं, साझा कर सकते हैं और काम कर सकते हैं। कोई भी विकल्प हर जगह नहीं जीतता। सही कॉल आपके अनुमान पैटर्न, आपके पी99 और पी999 विलंबता लक्ष्य, जीपीयू स्केल, बजट और कितनी हानिरहित -ईथरनेट ट्यूनिंग विशेषज्ञता वास्तव में आपकी टीम में बैठती है, इस पर निर्भर करती है।

नेटवर्क अनुमान टीमों की अपेक्षा से अधिक महत्वपूर्ण क्यों है?

वर्षों तक, अनुमान को GPU कहानी के आसान आधे हिस्से के रूप में माना जाता था: एक मॉडल को एक नोड पर लोड किया गया था, अनुरोध स्वतंत्र रूप से परोसे गए थे, बहुत कम पूर्व - पश्चिम ट्रैफ़िक। वह तस्वीर अब पुरानी हो चुकी है. आधुनिक अनुमान तेजी से वितरित हो रहा है, और कई पैटर्न कपड़े पर वास्तविक दबाव डालते हैं।

टेंसर समानताजीपीयू में एक परत को विभाजित करता है, इसलिए प्रत्येक टोकन चरण उनके बीच सभी {{0}कम या सभी{1}इकट्ठा संचालन को ट्रिगर करता है। यह बारंबार, विलंबता {{3} संवेदनशील, क्रॉस {{4} जीपीयू ट्रैफ़िक है जिसे जीपीयू प्रतीक्षा करते समय अवरुद्ध कर देता है।
पाइपलाइन समानताएक चरण से दूसरे चरण तक हाथ सक्रियण, अक्सर नोड्स के पार, प्रत्येक फॉरवर्ड पास में क्रॉस -नोड निर्भरताएँ जोड़ते हुए।
अलग-अलग प्रीफ़िल और डीकोडगणना {{0}भारी प्रीफ़िल चरण को विलंबता {{1}संवेदनशील डिकोड चरण से अलग करता है, फिर उनके बीच केवी कैश को स्थानांतरित करता है। वे स्थानांतरण बड़े और तीव्र हैं, और कोई भी देरी सीधे धीमे समय के रूप में दिखाई देती है {{3}से लेकर {{4}पहले{5}टोकन और अंतर-टोकन विलंबता के रूप में।
पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी)वेक्टर और खोज सेवाओं में पूर्व-{0}}पश्चिम ट्रैफ़िक जोड़ता है। यह आम तौर पर सामूहिक संचालन की तुलना में कम विलंबता {{2}महत्वपूर्ण है, लेकिन यह अभी भी फैब्रिक को लोड करता है, खासकर उच्च क्वेरी वॉल्यूम पर।
बहु-किरायेदार सेवारतकई मॉडलों और उपयोगकर्ताओं को एक ही ढांचे पर रखता है, जहां माइक्रोबर्स्ट और शोर-शराबे वाले पड़ोसी प्रभाव प्रमुख जोखिम बन जाते हैं।

जब नेटवर्क बाधा होता है, तो लक्षण महंगे होते हैं: टोकन के लिए अधिक समय {{0} से {{1} पहले -, डेटा की प्रतीक्षा करते समय जीपीयू का रुक जाना, थ्रूपुट जो फटने के कारण नष्ट हो जाता है, और अस्थिर पी 95 और पी 99। और यहां वह हिस्सा है जो बेंचमार्क से ऊपर जाता है: औसत विलंबता यह सब छिपा देती है। उत्पादन का अनुमान पूंछ के आधार पर आंका जाता है, माध्य के आधार पर नहीं।

InfiniBand बनाम RoCE: AI अनुमान के लिए सारांश तालिका

AI अनुमान फैब्रिक्स के लिए InfiniBand और RoCE की त्वरित तुलना
कारक	इन्फिनीबैंड	RoCE (RoCEv2)
कपड़े का प्रकार	उद्देश्य से निर्मित, दोषरहित एचपीसी/एआई फैब्रिक	आरडीएमए ने निष्क्रिय ईथरनेट को आगे बढ़ाया
पर सर्वोत्तम	विलंबता-महत्वपूर्ण, कसकर युग्मित क्लस्टर	लागत-कुशल, ईथरनेट-देशी, लचीला पैमाना
लोड के तहत विलंबता	डिज़ाइन द्वारा निम्न और नियतात्मक	कम, लेकिन फैब्रिक ट्यूनिंग पर निर्भर
पूँछ विलंबता (p99/p999)	भारी सामूहिकताओं के तहत भी सुसंगत	अच्छी तरह से डिजाइन और निगरानी किए जाने पर मजबूत
दोषरहित व्यवहार	देशी, कपड़ा-स्तर	दोषरहित -ईथरनेट कॉन्फ़िगरेशन की आवश्यकता है
विशिष्ट लागत	उच्चतर अग्रिम, समर्पित कपड़ा	यदि मौजूदा ईथरनेट का पुन: उपयोग किया जा सकता है तो कम करें
पारिस्थितिकी तंत्र	अधिक एकाग्र	व्यापक ईथरनेट पारिस्थितिकी तंत्र
संचालन कौशल	InfiniBand फैब्रिक प्रबंधन	ईथरनेट प्लस दोषरहित (डीसीबी) ट्यूनिंग विशेषज्ञता
स्केलिंग मॉडल	केंद्रीकृत, कसकर नियंत्रित कपड़ा	क्लाउड{{0}स्टाइल, रूटेबल, मल्टी-किरायेदार
सबसे मजबूत अनुमान फिट	वास्तविक {{0}समय, सख्त एसएलए, बहु{{1}नोड सेवा	बैच, RAG, GPUaaS, लागत-संवेदनशील स्केलिंग

इन्फिनीबैंड क्या है?

InfiniBand एक उद्देश्य से निर्मित नेटवर्क फैब्रिक है जिसे शुरू से ही कम विलंबता, उच्च थ्रूपुट और दोषरहित संचार के लिए डिज़ाइन किया गया है। यह ईथरनेट का तेज़ स्वाद नहीं है। यह अपने स्वयं के होस्ट चैनल एडेप्टर, स्विच, सबनेट मैनेजर, केबलिंग इकोसिस्टम और कंजेशन नियंत्रण मॉडल के साथ आता है। इसका परिभाषित मूल्य नियतात्मक व्यवहार है: कई जीपीयू सख्त समय की आवश्यकताओं के साथ संचार कर सकते हैं, और सामूहिक ट्रैफ़िक भारी होने पर भी फैब्रिक लगातार व्यवहार करता रहता है।

आधुनिक AI{0}}उन्मुख InfiniBand प्लेटफ़ॉर्म बड़े GPU क्लस्टरों पर लक्षित क्षमताओं के साथ उस आधार का विस्तार करते हैं। उदाहरण के लिए, NVIDIA की क्वांटम इनफिनीबैंड लाइन जोड़ती हैअनुकूली रूटिंग, नेटवर्क कंप्यूटिंग और टेलीमेट्री आधारित कंजेशन नियंत्रण में, जो फैब्रिक को समझदारी से यातायात फैलाने में मदद करते हैं और एक किरायेदार के भार को दूसरे से अलग करते हैं। अनुमान के लिए, InfiniBand अपना स्थान तब अर्जित करता है जब कार्यभार घबराहट को सहन नहीं कर सकता है या जब कई GPU नोड्स को डेटा का त्वरित और लगातार आदान-प्रदान करना होता है।

ट्रेडऑफ़ लागत, पारिस्थितिकी तंत्र एकाग्रता और परिचालन विशेषज्ञता हैं। एक समर्पित InfiniBand फ़ैब्रिक का अर्थ है समर्पित स्विच, एडेप्टर, केबल या ऑप्टिकल मॉड्यूल, और InfiniBand फैब्रिक प्रबंधन के साथ सहज इंजीनियर। पहले से ही बड़े ईथरनेट एस्टेट चलाने वाले संगठन के लिए, एक अलग कपड़े पर बोल्ट लगाने से खरीद जटिलता, स्पेयर पार्ट्स की योजना और ओवरहेड की निगरानी बढ़ जाती है।

RoCE (RDMA ओवर कन्वर्ज्ड ईथरनेट) क्या है?

RoCE ईथरनेट नेटवर्क पर आरडीएमए, डायरेक्ट मेमोरी को कम सीपीयू ओवरहेड के साथ मेमोरी डेटा मूवमेंट में लाता है। RoCEv2, आधुनिक डेटा केंद्रों में उपयोग किया जाने वाला संस्करण, लेयर 3 आईपी नेटवर्क में रूट करने योग्य है और इसे मानकीकृत किया गया थाइन्फ़िनीबैंड ट्रेड एसोसिएशन. वह रूटेबिलिटी ही है जो RoCE को परिचित एनआईसी, स्विच, ऑप्टिक्स और मॉनिटरिंग टूल का पुन: उपयोग करते हुए स्वाभाविक रूप से ईथरनेट लीफ - स्पाइन डिज़ाइन में फिट होने देती है।

समस्या यह है कि आरडीएमए ट्रांसपोर्ट लगभग दोषरहित नेटवर्क मानता है। एक पैकेट गिराएं और परिवहन पुन:संचरण व्यवहार पर वापस आ जाता है जो पूंछ विलंबता को नष्ट कर देता है। इसलिए RoCE को दोषरहित कपड़े की तरह व्यवहार करने के लिए इसके नीचे ईथरनेट की आवश्यकता होती है, और यह विशेष रूप से दो तंत्रों के सावधानीपूर्वक कॉन्फ़िगरेशन पर निर्भर करता है:प्राथमिकता प्रवाह नियंत्रण (आईईईई 802.1क्यूबीबी), जो बूंदों को रोकने के लिए एकल ट्रैफ़िक क्लास को रोकता है, औरस्पष्ट भीड़भाड़ अधिसूचना (ईसीएन), जो भीड़भाड़ का संकेत जल्दी देता है ताकि प्रेषक बफ़र्स ओवरफ्लो होने से पहले धीमा हो जाएं। इसमें कतार प्रबंधन, बफर आवंटन और क्यूओएस मैपिंग जोड़ें, और यह स्पष्ट हो जाता है कि उच्च प्रदर्शन RoCE सामान्य ईथरनेट नहीं है।

अच्छी तरह से किया गया, RoCE उत्पादन अनुमान सेवाओं की एक विस्तृत श्रृंखला के लिए पर्याप्त विलंबता और थ्रूपुट प्रदान करता है, और कई अनुमान कार्यभार वितरित प्रशिक्षण की तुलना में कम कसकर सिंक्रनाइज़ होते हैं, जो RoCE के पक्ष में काम करता है। खराब तरीके से किए जाने पर, यह पैकेट हानि, हेड{1}ऑफ़{2}लाइन ब्लॉकिंग, कंजेशन फैलना और अस्थिर टेल्स उत्पन्न करता है, जो सभी सीधे सेवा की गुणवत्ता में गिरावट का कारण बनते हैं।

InfiniBand बनाम RoCE विलंबता: p99 अनुमान के लिए कौन सा बेहतर है?

दोनों फैब्रिक उच्च {{0}बैंडविड्थ, कम विलंबता नेटवर्किंग प्रदान कर सकते हैं। वे वहां पहुंचने के तरीके में भिन्न हैं। InfiniBand निर्माण द्वारा नियतात्मक है, इसलिए मिश्रित भार के तहत भी घबराहट कम रहती है। RoCE कई कार्यभारों के लिए इसकी बराबरी कर सकता है, लेकिन परिणाम ईथरनेट फैब्रिक और इसे कितनी अच्छी तरह ट्यून किया गया है, इस पर निर्भर करता है।

Tail latency in distributed AI inference networking

परिनियोजन परिप्रेक्ष्य से, उत्पादन में वास्तविक समस्या शायद ही कभी चरम बैंडविड्थ है। यह मिश्रित, उग्र, बहु-किरायेदार यातायात के तहत घबराता है। एक आरओसीई फैब्रिक जो एक स्वच्छ, आईपरफ - स्टाइल थ्रूपुट परीक्षण में सफल होता है, वह माइक्रोबर्स्ट और विवाद के चित्र में प्रवेश करने के क्षण में भी अपने पी99 लक्ष्य से चूक सकता है। लैब बेंचमार्क और प्रोडक्शन एसएलए के बीच का अंतर ही वह जगह है जहां सबसे ज्यादा आश्चर्य रहता है।

InfiniBand को बढ़त तब मिलती है जब:

सेवा में सख्त p99 या p999 विलंबता लक्ष्य हैं।
इंट्रेंस कई जीपीयू नोड्स को टेंसर या पाइपलाइन समानता के साथ फैलाता है, या अलग-अलग प्रीफ़िल और डिकोड का उपयोग करता है।
GPU का उपयोग नेटवर्क विलंब के प्रति अत्यधिक संवेदनशील है, इसलिए स्टॉल महंगे हैं।
क्लस्टर कम संख्या में उच्च प्राथमिकता वाले कार्यभार चलाता है जहां पूर्वानुमानशीलता लचीलेपन से अधिक होती है।

RoCE आमतौर पर काफी अच्छा होता है जब:

अनुरोध अधिकतर स्वतंत्र होते हैं, या युग्मन ढीला होता है।
कार्य एक नोड या छोटी संख्या में नोड्स के भीतर चलता है।
बैच थ्रूपुट अल्ट्रा{{0}लो टेल लेटेंसी से अधिक मायने रखता है।
टीम पहले से ही ईथरनेट संचालित करती है, और लागत या विक्रेता लचीलापन एक प्राथमिकता है।
क्लस्टर एकाधिक किरायेदारों या मिश्रित कार्यभार का समर्थन करता है।

RoCE बनाम InfiniBand लागत: वास्तव में TCO को क्या प्रेरित करता है?

RoCE को अक्सर सस्ता विकल्प कहा जाता है, लेकिन स्विच कीमत तस्वीर का एक छोटा सा हिस्सा है। एक यथार्थवादी तुलना पूरे स्टैक को देखती है: नेटवर्क एडेप्टर या एचसीए, स्विच, ऑप्टिकल मॉड्यूल, डीएसी, एओसी, और फाइबर केबलिंग, रैक टोपोलॉजी, पावर और कूलिंग, नेटवर्क ऑपरेटिंग सिस्टम, मॉनिटरिंग और टेलीमेट्री, इंजीनियरिंग समय, स्पेयर पार्ट्स, विक्रेता समर्थन, और 400G या 800G का पथ।

InfiniBand की अग्रिम लागत आमतौर पर अधिक होती है क्योंकि इसके लिए एक समर्पित कपड़े और विशेष घटकों की आवश्यकता होती है। ऐसे वातावरण में जहां नियतात्मक व्यवहार सर्वोच्च प्राथमिकता है, यह दोषरहित ईथरनेट फैब्रिक की मांग वाली ट्यूनिंग और समस्या निवारण प्रयास को कम कर सकता है। RoCE हार्डवेयर लागत को कम करता है जब एक मौजूदा ईथरनेट एस्टेट, सही डेटा सेंटर ब्रिजिंग समर्थन के साथ, पुन: उपयोग किया जा सकता है, लेकिन यह दोषरहित फैब्रिक को डिजाइन करने, मान्य करने, निगरानी करने और समस्या निवारण में प्रयास को स्थानांतरित करता है। एक कम लागत वाला RoCE डिज़ाइन तेजी से महंगा हो जाता है यदि यह अस्थिर विलंबता और बार-बार आग बुझाने का कारण बनता है।

गति बढ़ने पर लागत और जोखिम भौतिक स्तर पर केंद्रित हो जाते हैं। 400G और 800G पर, ऑप्टिक्स बिल और विफलता दोनों मोड पर हावी है। सर्वाधिक उच्च गति वाले बंदरगाहों पर उतरते हैंQSFP-DD या तुलनीय प्रपत्र कारक, और सही से मेल खाता हैसिंगल -मोड या मल्टीमोड ऑप्टिक्सआपकी वास्तविक पहुंच के लिए यह एक ऐसे कपड़े पर अधिक खर्च करने से बचने का सबसे सरल तरीकों में से एक है, जिसके लिए लंबी दूरी के मॉड्यूल की आवश्यकता नहीं होती है।

स्पष्ट रूप से कहें: यदि आपकी टीम में दोषरहित {{0}ईथरनेट विशेषज्ञता का अभाव है तो RoCE कोई सस्ता विकल्प नहीं है। कपड़े को स्थिर रखने की इंजीनियरिंग लागत हार्डवेयर पर होने वाली बचत को जल्दी खत्म कर सकती है।

स्केलेबिलिटी और संचालन

स्केलेबिलिटी पोर्ट संख्या से अधिक है। इसमें यह भी शामिल है कि किसी चीज़ के विफल होने पर कपड़े को कितनी आसानी से तैनात किया जाता है, निगरानी की जाती है, विस्तारित किया जाता है और पुनर्प्राप्त किया जाता है।

InfiniBand तब मजबूत होता है जब क्लस्टर को पहले दिन से ही एक समर्पित उच्च प्रदर्शन फैब्रिक के रूप में डिज़ाइन किया जाता है। यह बड़े पैमाने पर सुसंगत व्यवहार प्रदान करता है, लेकिन यह InfiniBand से विशिष्ट टूलींग की अपेक्षा करता है, जैसे कि सबनेट मैनेजर और एकीकृत फैब्रिक प्रबंधन, और ऐसे कर्मचारी जो InfiniBand अवधारणाओं के साथ सहज हों। यह इसे GPU वर्कलोड के आसपास निर्मित केंद्रीकृत AI क्लस्टर के लिए स्वाभाविक रूप से उपयुक्त बनाता है।

ईथरनेट डेटा सेंटर डिज़ाइन में RoCE स्लॉट: लीफ {{0} स्पाइन टोपोलॉजी, आईपी रूटिंग, ईसीएमपी, और परिचित निगरानी प्रथाएं। यही कारण है कि यह क्लाउड{{2}स्टाइल और मल्टी{3}टेनेंट जीपीयू इंफ्रास्ट्रक्चर को आकर्षित करता है। यह जिस अनुशासन की मांग करता है वह है निरंतरता। पीएफसी, ईसीएन, क्यूओएस, बफर प्रबंधन और भीड़ नियंत्रण को पूरे पथ पर सुसंगत रूप से डिजाइन किया जाना चाहिए, क्योंकि कपड़े के एक कोने में एक छोटी सी गलत कॉन्फ़िगरेशन एक साथ कई कार्यभार को फैला और ख़राब कर सकती है। भौतिक परत को भी सफाई से स्केल करना होगा; उच्च-घनत्वएमपीओ और एमटीपी ट्रंक और ब्रेकआउट केबलिंगहर विस्तार को केबल बनाने की पहेली में बदलने के बजाय बढ़ती हुई पत्ती को व्यवस्थित बनाए रखता है।

दर्पण छवि बिंदु बताने योग्य है: InfiniBand को उचित ठहराना कठिन है जब अनुमान ज्यादातर एक ही नोड के भीतर रहता है और कपड़े का मुश्किल से उपयोग किया जाता है।

प्रत्येक अनुमान कार्यभार के लिए कौन सा नेटवर्क

कार्यभार के अनुमान के आधार पर प्रारंभिक बिंदु अनुशंसाएँ
कार्यभार	नेटवर्क का दबाव	बेहतर शुरुआती बिंदु	क्यों
वास्तविक -समय एलएलएम चैट या सहायक, उच्च क्यूपीएस	उच्च पूँछ-विलंबता संवेदनशीलता, क्रॉस{{1}जीपीयू संग्रह	InfiniBand, या सावधानीपूर्वक ट्यून किया गया RoCE	p99/p999 नियतिवाद समय की सुरक्षा करता है {{2}से लेकर {{3}पहले{{4}टोकन और अंतर-{5}}टोकन विलंबता की रक्षा करता है
बैच एम्बेडिंग या ऑफ़लाइन अनुमान	थ्रूपुट{{0}उन्मुख, विलंबता-सहिष्णु	आरओसीई	लागत-कुशल स्केलिंग, घबराना कोई बाधा नहीं है
आरएजी पुनर्प्राप्ति सेवा	पूर्व{0}}पश्चिम से वेक्टर और खोज, मध्यम	आरओसीई	ईथरनेट लचीलेपन, पुनर्प्राप्ति के लिए शायद ही कभी InfiniBand निर्धारणवाद की आवश्यकता होती है
बहु-किरायेदार GPUaaS	मिश्रित, उग्र, शोर-शराबा वाला -पड़ोसी	आरओसीई या हाइब्रिड	ईथरनेट मल्टी{{0}किरायेदारी और ईसीएमपी, परफॉरमेंस{{1}आइसोलेशन ट्यूनिंग के साथ
अलग-अलग प्रीफ़िल और डीकोड	नोड्स में बड़ा, बर्स्टी केवी-कैश स्थानांतरण	निर्भर करता है, इसे बेंचमार्क करें	क्रॉस {{0}नोड विलंबता टीटीएफटी को प्रभावित करती है, इसलिए यथार्थवादी ट्रैफ़िक के तहत सत्यापन करें
उच्च-आवृत्ति अनुशंसा	सख्त विलंबता, कई छोटे संदेश	इन्फिनीबैंड	तंग, लगातार पूंछ विलंबता
स्वायत्त या सुरक्षा-महत्वपूर्ण अनुमान	संविदात्मक एसएलए, कम घबराहट	इन्फिनीबैंड	नियतात्मक व्यवहार, उच्च SLA-जुर्माना जोखिम

जब RoCE काफी अच्छा होता है, और जब यह जोखिम भरा हो जाता है

आरओसीई स्वतंत्र या शिथिल युग्मित अनुरोधों, थ्रूपुट उन्मुख बैच कार्य और बहु - किरायेदार समूहों के लिए काफी अच्छा है जहां आप अलगाव को ट्यून कर सकते हैं, खासकर जब टीम डेटा सेंटर ब्रिजिंग ईथरनेट में पारंगत हो। यह विशिष्ट, पहचानने योग्य तरीकों से जोखिम भरा हो जाता है:

पीएफसी तूफान.पॉज़ फ़्रेम अपस्ट्रीम को फैलाते हैं और ट्रैफ़िक को फ़्रीज़ करते हैं जिसका मूल भीड़भाड़ से कोई लेना-देना नहीं है।
लाइन ब्लॉकिंग का हेड{{0}ऑफ़-।मोटे प्राथमिकता मानचित्रण से एक भीड़भाड़ वाले वर्ग को कतार साझा करने वाले अन्य वर्ग को रोकने में मदद मिलती है।
ईसीएन की ग़लती।बहुत देर से निशान लगाएं और आपको बूँदें मिलेंगी; बहुत आक्रामक तरीके से चिह्नित करें और आप थ्रूपुट को अनावश्यक रूप से दबा देंगे।
माइक्रोबर्स्ट कंजेशन.उप-{0}}सेकेंड बर्स्ट ओवरफ़्लो बफ़र्स लेकिन एक-सेकंड रिज़ॉल्यूशन पर उस नमूने की निगरानी के लिए अदृश्य रहते हैं।
असंगत विन्यास.पत्ती और रीढ़ की हड्डी में बेमेल सेटिंग के कारण जमाव स्थानीय रहने के बजाय फैलता है।

इनमें से कोई भी RoCE से बचने का कारण नहीं है। वे दोषरहित कपड़े को अंत से अंत तक सुसंगत रूप से डिजाइन करने और आपके स्केल करने से पहले बारीक {1}दानेदार, माइक्रोबर्स्ट {{2}जागरूक टेलीमेट्री में निवेश करने का कारण हैं।

RoCE vs InfiniBand

जब InfiniBand इसके लायक है, और जब आप अधिक खरीदारी कर रहे हैं

InfiniBand सख्त p99 और p999 लक्ष्यों, मजबूती से युग्मित मल्टी{2}नोड सर्विंग और मिशन{3}महत्वपूर्ण कार्यभार के लिए अपने प्रीमियम के लायक है जहां SLA दंड अधिक हैं, विशेष रूप से फैब्रिक के चारों ओर डिज़ाइन किए गए समर्पित GPU क्लस्टर पर। जब अनुमान एक नोड के भीतर रहता है, जब काम थ्रूपुट ओरिएंटेड बैच होता है, जब आपको स्टोरेज, प्रबंधन और बहु-किरायेदार क्लाउड ट्रैफ़िक को ले जाने के लिए एक ही फैब्रिक की आवश्यकता होती है, या जब आपके पास InfiniBand को अच्छी तरह से चलाने के लिए परिचालन क्षमता की कमी होती है, तो आप अधिक खरीदारी करने की संभावना रखते हैं।

जो लागतें स्विच उद्धरण पर दिखाई नहीं देती हैं वे वास्तविक हैं: पारिस्थितिकी तंत्र एकाग्रता, आपके ईथरनेट नेटवर्क के समानांतर दूसरे फैब्रिक को चलाने का ओवरहेड, और स्पेयर, ऑप्टिक्स और मॉनिटरिंग के लिए अलग योजना।

चुनने से पहले InfiniBand बनाम RoCE का परीक्षण कैसे करें

प्रोटोकॉल प्रतिष्ठा या स्पेक शीट पर निर्णय न लें। एक ऐसा बेंचमार्क तय करें जो उत्पादन से मिलता-जुलता हो। एक व्यावहारिक क्रम:

SLA को टेल्स में परिभाषित करें।समय के लिए p50, p95, p99, और p999 सेट करें, केवल औसत के लिए नहीं, बल्कि समय के लिए {{4}से लेकर -प्रथम{6}टोकन और अंतरा-टोकन विलंबता के लिए।
यथार्थवादी ट्रैफ़िक पुनः चलाएँ।एकल स्वच्छ स्ट्रीम के बजाय बर्स्टी, मिश्रित मॉडल आकार और मल्टी{0}}टेनेंट संगामिति का उपयोग करें।
भीड़भाड़ के लिए लोड करें.कपड़े को तब तक दबाएं जब तक वह वास्तव में संतुष्ट न हो जाए, फिर GPU उपयोग को मापें। यदि जीपीयू नेटवर्क पर रुक रहा है, तो फैब्रिक आपकी बाधा है।
सही काउंटर देखें.पॉज़ फ्रेम, ईसीएन मार्क्स, पैकेट ड्रॉप्स, रीट्रांसमिशन, पोर्ट एरर काउंटर और, 400जी और 800जी पर एफईसी त्रुटियों को ट्रैक करें।
भौतिक परत को मान्य करें.स्वच्छ, सही ढंग से स्थापित फाइबर मायने रखता है;सावधानीपूर्वक फाइबर स्थापनारुक-रुक कर होने वाली कठिन त्रुटियों को रोकता है, जिनका निदान करने में कठिन -उच्च गति वाले लिंक की संभावना होती है।

यदि RoCE अपने p99 लक्ष्य को स्थिर काउंटरों के साथ यथार्थवादी, संतुष्ट, बहु-किरायेदार भार के तहत रखता है, तो यह एक मजबूत और लागत प्रभावी विकल्प है। यदि यह केवल स्वच्छ एकल स्ट्रीम परीक्षण पास करता है, तो आपने अभी तक उस चीज़ का परीक्षण नहीं किया है जो आपका एसएलए तय करता है।

बचने के लिए सामान्य गलतियाँ

यह मानते हुए कि सभी अनुमान प्रकाश नेटवर्किंग हैं।कुछ अनुमान सरल एवं स्वतंत्र हैं; कुछ वितरित है, विलंबता{{0}संवेदनशील है, और बैंडविड्थ{{1}भूखा है। इन सभी को आसान मानने से बुनियादी ढांचे का निर्माण होता है।
केवल औसत विलंबता की तुलना करना।उत्पादन का अनुमान पूँछ पर निर्भर करता है। हमेशा यथार्थवादी ट्रैफ़िक के तहत p95, p99 और p999 का मूल्यांकन करें।
RoCE को प्लग के रूप में मानें और {{1}ईथरनेट चलाएं।उच्च प्रदर्शन RoCE के लिए जानबूझकर दोषरहित {{1} फैब्रिक डिज़ाइन, भीड़ नियंत्रण और निरंतर अवलोकन की आवश्यकता होती है।
InfiniBand को केवल इसलिए चुनना क्योंकि यह तेज़ है।सर्वोत्तम प्रदर्शन विकल्प हमेशा सर्वोत्तम व्यवसाय विकल्प नहीं होता है. यदि कार्यभार को नियतात्मक व्यवहार की आवश्यकता नहीं है, तो RoCE बेहतर मूल्य प्रदान कर सकता है।
भौतिक परत की अनदेखी.400G और 800G पर, केबल, ऑप्टिक्स, कनेक्टर और फाइबर की सफाई रुक-रुक कर त्रुटियां पैदा करती है जिन्हें ढूंढना मुश्किल होता है और ठीक करना महंगा होता है।

अक्सर पूछे जाने वाले प्रश्न

प्रश्न: क्या AI अनुमान के लिए InfiniBand RoCE से बेहतर है?

उत्तर: सार्वभौमिक रूप से नहीं. InfiniBand सख्त टेल{{1}विलंबता और कसकर युग्मित मल्टी{2}नोड अनुमान के लिए बेहतर है। RoCE तब बेहतर होता है जब लागत, ईथरनेट अनुकूलता, और लचीली या बहु{4}}किरायेदार स्केलिंग अधिक मायने रखती है और कार्यभार थोड़ा अधिक घबराहट सहन कर सकता है।

प्रश्न: क्या आरओसीई एलएलएम अनुमान के लिए पर्याप्त है?

उत्तर: अक्सर हाँ, विशेष रूप से एकल {{0}नोड या शिथिल युग्मित सर्विंग के लिए और अच्छी तरह से ट्यून किए गए बहु{{2}किरायेदार क्लस्टर के लिए। बड़े टेंसर या पाइपलाइन - के लिए समानांतर सर्विंग, या सख्त पी99 लक्ष्यों के साथ अलग-अलग प्रीफिल और डीकोड, यथार्थवादी लोड के तहत आरओसीई को मान्य करें या इनफिनीबैंड पर विचार करें।

प्रश्न: क्या AI अनुमान के लिए InfiniBand की आवश्यकता है?

उत्तर: हमेशा नहीं. कई अनुमान सेवाएँ अच्छी तरह से डिज़ाइन किए गए RoCE फैब्रिक पर अच्छी तरह से चलती हैं। InfiniBand अपनी लागत तब कमाता है जब नियतिवाद संविदात्मक होता है या कार्यभार कसकर जुड़ा होता है और विलंबता {{3}महत्वपूर्ण होती है।

प्रश्न: RoCE का उपयोग करने का मुख्य जोखिम क्या है?

ए: कॉन्फ़िगरेशन। आरओसीई पीएफसी, ईसीएन, क्यूओएस और बफर प्रबंधन सहित सही ढंग से ट्यून किए गए दोषरहित ईथरनेट पर निर्भर करता है। गलत कॉन्फ़िगरेशन के कारण पैकेट नष्ट हो जाता है, हेड लाइन ब्लॉक हो जाती है, पीएफसी तूफान आ जाता है या टेल लेटेंसी अस्थिर हो जाती है।

प्रश्न: क्या GPUaaS प्रदाताओं को InfiniBand या RoCE का उपयोग करना चाहिए?

उ: RoCE, या एक हाइब्रिड, मल्टी{0}}टेनेंट GPUaaS के लिए आम है क्योंकि ईथरनेट रूटेबिलिटी, ECMP और परिचालन परिचितता प्रदान करता है। जो प्रदाता प्रीमियम, विलंबता -SLA स्तर बेचते हैं, वे कभी-कभी इसके लिए समर्पित InfiniBand पूल जोड़ते हैं।

जमीनी स्तर

AI अनुमान के लिए, InfiniBand और RoCE दोनों मान्य हैं, और वे अलग-अलग प्राथमिकताएँ प्रदान करते हैं। जब आपको वास्तविक समय, SLA संवेदनशील, या कसकर युग्मित अनुमान के लिए सबसे सुसंगत निम्न विलंबता नेटवर्क की आवश्यकता हो तो InfiniBand चुनें। जब आपको बैच अनुमान के लिए स्केलेबल, ईथरनेट-आधारित, लागत-कुशल फैब्रिक, बहु-किरायेदार जीपीयू सेवाओं, आरएजी वर्कलोड और लचीले बुनियादी ढांचे की आवश्यकता हो तो आरओसीई चुनें।

निर्णय कार्यभार, विलंबता लक्ष्य, क्लस्टर स्केल, आपकी संचालन क्षमता और अपग्रेड रोडमैप से शुरू होना चाहिए, प्रोटोकॉल से नहीं। यदि आपके क्लस्टर को भारी भार के तहत सख्त p99 रखना चाहिए, तो InfiniBand गंभीरता से विचार करने योग्य है। यदि आपका लक्ष्य ईथरनेट डेटा सेंटर में आर्थिक रूप से अनुमान लगाना है, तो RoCE आमतौर पर अधिक व्यावहारिक मार्ग है। किसी भी तरह से, आपके प्रतिबद्ध होने से पहले उत्पादन के तहत बेंचमार्क-जैसे लोड।