ماژول های نوری 400G در شبکه های مدرن

 

جنگ های فرم فاکتور هیچ کس برنده نشد

 

QSFP-DD و OSFP مانند دو خواهر و برادر از فرآیند استاندارد بیرون آمدند که نمی‌توانستند در مورد چیزی به توافق برسند جز اینکه هر دو 400G می‌خواستند. این صنعت به هشت خط الکتریکی با سرعت 50 گیگابیت بر ثانیه نیاز داشت و دو کنسرسیوم مختلف تصمیم گرفتند این مشکل را به دو روش مختلف حل کنند.

QSFP-DD آرگومان سازگاری را برد. اگر به اندازه کافی چشمک بزنید و به ردیف دوم پین ها اهمیت ندهید، با قفس های موجود QSFP28 مطابقت دارد. سازگاری به عقب زمانی اهمیت پیدا می کند که ده ها هزار پورت مستقر و یک مدیر مالی دارید که سؤالات مهمی در مورد دارایی های سرگردان می پرسد.

OSFP در بحث حرارتی پیروز شد. محفظه کمی بزرگتر و هیت سینک یکپارچه به این معنی است که می توانید 15{3}}20 وات این ماژول ها را بدون پختن پورت های مجاور از بین ببرید. من کارت‌های خطی را دیده‌ام که در آن‌ها درگاه‌های گوشه‌ای QSFP-DD به طور مداوم 8 درجه گرم‌تر از کارت‌های میانی کار می‌کنند، زیرا طراحی جریان هوا دارای 100 گرم انرژی است.

هیچ کدام واقعا برنده نشدند. بیشتر مقیاس‌کننده‌ها برای سادگی موجودی، QSFP{1}}DD را انتخاب کردند. اکثر راه‌اندازی‌های مخابراتی به OSFP رفتند زیرا ماژول‌های منسجم آنها به فضای سر حرارتی نیاز داشتند. هر کس دیگری هر چیزی را که فروشنده سوئیچ آنها ارسال می کرد انتخاب کردند و به راه خود ادامه دادند.

نوع QSFP112 شایسته ذکر است زیرا همه را گیج می کند. چهار خط با 100G هر کدام-همان مجموع 400G، خطوط کمتر، SerDes جدیدتر. برای اتصال NIC در جایی که می‌خواهید سرور-به-پیوندهای TOR بدون پیچیدگی گیربکس DSP اهمیت دارد. اهمیت آن کمتر از آن چیزی است که فروشندگان در جاهای دیگر ادعا می کنند.

 

PAM4 همه چیز را تغییر داد (و چند چیز را شکست)

 

در اینجا چیزی است که هیچ کس در هنگام فروش 400G شما را به اندازه کافی توضیح نمی دهد: سیگنالینگ PAM4 ایمنی نویز را برای کارایی پهنای باند معامله می کند، و این مبادله رایگان نیست.

رمزگذاری NRZ از دو سطح سیگنال استفاده می کند. بالا یا پایین. یک یا صفر. گیرنده شما فقط باید بین این دو حالت تمایز قائل می شد و نمودار چشمی حاشیه های راحتی به شما می داد. PAM4 از چهار سطح-00، 01، 10، 11-استفاده می‌کند که به این معنی است که گیرنده شما اکنون باید بین سه تقاطع آستانه با یک سوم جداسازی ولتاژ تمایز قائل شود. جریمه تئوری 9.54dB SNR اصلا نظری نیست. هر روز در شمارنده های BER قبل از FEC شما نشان داده می شود.

DSP داخل یک ماژول 400G برای جبران این کار قهرمانانه انجام می دهد. فید-یکسان سازی رو به جلو، یکسان سازی بازخورد تصمیم، ساعت و بازیابی اطلاعات-همه با 53.125 گیگاباد در هر خط اجرا می شوند. وقتی کار می کند، نامرئی است. وقتی کار نمی‌کند، انبوهی از خطاهای قابل تصحیح را دریافت می‌کنید که با خطاهای گاه به گاه غیرقابل تصحیح نقطه‌گذاری می‌شوند، و موفق باشید که بفهمید مشکل ماژول، فیبر، میزبان شما یا تشعشعات پس‌زمینه کیهانی است.

 

 

انواع طول موج: بیش از رسیدن

 

مشخصات دسترسی تنها بخشی از داستان را بیان می کند.

400G-SR8 از VCSELهای 850 نانومتری در 8 فیبر موازی استفاده می‌کند و 100 متر را روی OM4 هدف قرار می‌دهد. ارزان است. چند حالته است. به یک کانکتور MPO-16 با هشت فیبر TX و هشت RX نیاز دارد. در داخل یک قفسه یا بین قفسه های مجاور، این کار به خوبی انجام می شود. لحظه ای که کسی درباره اجرای آن "فقط کمی جلوتر" می پرسد، به او یادآوری کنید که پراکندگی مودال در 850 نانومتر قابل مذاکره نیست.

400G-DR4 در طول موج 1310 نانومتر بر روی چهار فیبر موازی تک حالته{4}} که برای 500 متر رتبه بندی شده اند، کار می کند. کانکتور MPO-12 از هشت فیبر بیرونی استفاده می‌کند و چهار فیبر را بدون استفاده باقی می‌گذارد{11}}این واقعیتی است که نصب کنندگان کابل را تقریباً یک بار در هر بار نصب گیج می‌کند. DR4 به اسباب کار برای اتصال برگ{12}}در کارخانه‌های تک حالته تبدیل شده است زیرا 500 متر بیشتر هندسه‌های مرکز داده را با فضای خالی پوشش می‌دهد.

400G-FR4 از طول موج‌های CWDM4 (1271، 1291، 1311، 1331 نانومتر) استفاده می‌کند که روی یک جفت فیبر واحد از طریق LC دوبلکس مالتی پلکس شده‌اند. دو کیلومتر می رسد. اینجاست که 400G برای اتصالات دانشگاهی مقرون به صرفه است، زیرا شما هشت{11}}تنه فیبر MPO را بین ساختمان‌ها نمی‌کشید.

400G-LR4 همان رویکرد CWDM4 را تا 10 کیلومتر با قدرت پرتاب بالاتر و گیرنده های بهتر گسترش می دهد. جهش قیمت از FR4 به LR4 همچنان بخش های تدارکاتی را که مدل ذهنی خود را از قیمت 100G-LR4 به روز نکرده اند شگفت زده می کند.

 

فیل منسجم

 

400G-ZR شایستگی بخش خاص خود را دارد زیرا نشان دهنده یک فناوری اساساً متفاوت است که در فرم یکسانی پوشیده شده است.

همه چیزهایی که تا به حال توضیح داده‌ام از اپتیک-تشخیص مستقیم استفاده می‌کنند. نور وارد می شود، فتودیود آن را تبدیل می کند، DSP آن را تمیز می کند. اپتیک منسجم اطلاعات را در دامنه و فاز در دو قطبش به طور همزمان رمزگذاری می کند، سپس از یک نوسان ساز محلی و پردازش سیگنال دیجیتال پیچیده برای بازیابی همه چیز در گیرنده استفاده می کند. نتیجه: 400 گیگابیت بر ثانیه بیش از 120+ کیلومتر فیبر تقویت نشده در یک ماژول قابل اتصال.

استاندارد OIF 400ZR مدولاسیون 16QAM در 60 GBaud با قطبش دوگانه را مشخص می کند. FEC به هم پیوسته (-نرم همینگ داخلی تصمیم گیری، پلکان خارجی تصمیم گیری سخت-) حدود 10.8 دسی بل سود خالص کدگذاری را ارائه می دهد. کل چیز 15-20 وات می کشد و گرمایی تولید می کند که باعث گریه یک ماژول QSFP-DD می شود.

من ماژول‌های ZR را دیده‌ام که در سوئیچ‌هایی نصب شده‌اند که برای آن بار حرارتی طراحی نشده‌اند. شاسی سوئیچ دمای معمولی را گزارش کرد زیرا سنسورهای ورودی آن هوای خنک را اندازه گیری می کردند. ماژول 73 درجه را گزارش کرد زیرا بین دو ماژول ZR دیگر با جریان هوا ناکافی قرار گرفته بود. پیوند-به سختی-با اصلاحات FEC بالا کار می کرد که هیچ کس متوجه آن نشد تا زمانی که قبل از{6}}FEC BER از آستانه عبور کرد و بسته ها شروع به کاهش کردند.

گونه‌های ZR+ و MZR به قیمت قابلیت همکاری بیشتر می‌شوند. پیشرفت‌های خاص فروشنده برای راه‌اندازی قدرت، حساسیت گیرنده و الگوریتم‌های FEC می‌توانند پیوندها را تا بیش از 400 کیلومتر گسترش دهند، اما شما به جای یک کالا، یک راه‌حل می‌خرید.

 

 

سوال طرف سوم

 

من تقریباً ششصد بار این گفتگو را داشته ام.

"آیا می توانیم از اپتیک 400G شخص ثالث- استفاده کنیم؟"

از نظر فنی بله مشخصات MSA دقیقاً برای فعال کردن قابلیت همکاری چند فروشنده وجود دارد. یک QSFP{3}}منطبق از سازنده X باید مشابه QSFP سازنده Y رفتار کند. استانداردهای IEEE پارامترهای نوری و الکتریکی را تعریف می‌کنند. CMIS (مشخصات رابط مدیریت مشترک) نحوه صحبت میزبان با ماژول را استاندارد می کند.

عملاً بستگی دارد.

مکانیسم‌های احراز هویت Cisco از رویکرد صریح «خطا-غیرفعال کردن پورت» پلت‌فرم‌های قدیمی‌تر به راستی‌آزمایی پیچیده‌تر فروشنده که هشدارها را ثبت می‌کند اما لزوماً عملکرد را غیرفعال نمی‌کند، تکامل یافته است. فرمان فرستنده{2}}پشتیبانی نشده سرویس دریچه فرار باقی می ماند. Arista تمایل بیشتری دارد اما از پشتیبانی از مشکلاتی که ممکن است ناشی از ماژول‌های شخص ثالث- باشد خودداری می‌کند. موضع Juniper بر اساس پلتفرم و نسخه نرم افزاری متفاوت است به گونه ای که نیاز به مشاوره با ماتریس های سازگاری آنها دارد.

من اپتیک شخص ثالث-را در محیط های آزمایشگاهی بدون تردید اجرا می کنم. برای مسیرهای تولیدی که ترافیک درآمدی را در ساعت 2 بامداد حمل می کنند، زمانی که چیزی خراب می شود؟ من می‌خواهم بتوانم با TAC تماس بگیرم و از آنها بخواهم در واقع به جای اینکه فوراً به سمت "تعویض گیرنده‌های پشتیبانی شده جایگزین شوند" کمک کنند.

ریاضی هزینه این محاسبه را برای ابرمقیاس‌کنندگانی که ده‌ها هزار ماژول خریداری می‌کنند و مهندسان اپتیک را به کار می‌گیرند که می‌توانند به طور مستقل تامین‌کنندگان را مشخص و واجد شرایط کنند، تغییر می‌دهد. برای شرکت هایی که صدها ماژول را از طریق کانال های توزیع با منابع فنی محدود خریداری می کنند، ریاضی متفاوت است.

 

واقعیت حرارتی

 

یک ماژول 400G QSFP-DD بین 10 تا 15 وات بسته به نوع و فروشنده مصرف می‌کند. یک ماژول ZR منسجم 400G 15-20 وات می کشد. یک ماژول 800G QSFP{11}}DD800-از قبل در خوشه‌های هوش مصنوعی مستقر شده است - ۱۸ تا ۲۵ وات می‌کشد.

64 عدد از اینها را در یک سوئیچ 2RU قرار دهید و قبل از محاسبه سوئیچ ASIC، حافظه، فن ها و منابع تغذیه، 640 وات فقط از طریق اپتیک در اختیار دارید. مشکل طراحی حرارتی در یک نسل از «کافی» به «بحرانی» تغییر کرده است.

من یک دوربین تصویربرداری حرارتی را تماشا کردم که یک سوئیچ ستون فقرات 400G کاملاً بارگذاری شده- را در طول آزمون صلاحیت جارو کرد. داغ‌ترین ماژول‌ها آن‌هایی نبودند که انتظار داشتید. موقعیت‌های گوشه، در جهت باد خروجی اگزوز ASIC، گرمتر از ماژول‌های مرکز صفحه-که هوای تازه دریافت می‌کردند. خوانش‌های استاندارد دمای DDM، 17 درجه پخش در پورت‌هایی را که ظاهراً یکسان بودند، نشان داد.

مشخصات ماژول قول عملکرد از 0 درجه تا 70 درجه را می دهد، اما منحنی های عملکرد در 70 درجه مانند 25 درجه به نظر نمی رسند. جریان آستانه لیزر افزایش می یابد. راندمان شیب کاهش می یابد. دریفت های طول موج-و برای سیستم های CWDM4 و DWDM، رانش طول موج به معنای تداخل با کانال های مجاور است.

سیستم‌های{0}}خنک‌شونده هوا به محدودیت‌های خود نزدیک می‌شوند. خنک‌کننده مایع برای سوئیچ‌ها همچنان عجیب و غریب است، اما برای خوشه‌های AI/ML که در آن پردازنده‌های گرافیکی و اپتیک‌ها برای همان بودجه حرارتی رقابت می‌کنند، به طور فزاینده‌ای ضروری است.

 

 

آزمایش واقعیت ها

 

استانداردهای IEEE نقاط انطباق را تعریف می کنند. آنها تضمین نمی کنند که پیوند خاص شما کار کند.

TDECQ (فرستنده و پراکندگی چشم بسته کواترنری) معادل PAM4 OMA (دامنه مدولاسیون نوری) است اما پیچیده تر است. تلاش می کند کیفیت فرستنده را به گونه ای مشخص کند که عملکرد گیرنده را پیش بینی کند. اندازه‌گیری به گیرنده‌های مرجع و تبدیل‌های ریاضی نیاز دارد که بین فروشندگان تجهیزات آزمایشی به روش‌هایی متفاوت است که باعث بحث‌های بی‌پایان کمیته استانداردها می‌شود.

آزمایش FEC BER قبل از {0}بیش از همیشه اهمیت دارد. "اثر انگشت" خطاهای بیتی شما-تصادفی در مقابل انفجاری، توزیع یکنواخت در مقابل متمرکز در نمادهای خاص PAM4{4}}تعیین می‌کند که آیا FEC شما واقعاً می‌تواند آنها را اصلاح کند. خطاهای تصادفی واقعی به خوبی با کدهای Reed{6}}سولومون بازی می‌کنند. خطاهای انفجاری ناشی از مشکلات بازیابی ساعت یا رفتار نادرست DSP می تواند FEC را تحت تأثیر قرار دهد حتی زمانی که BER خام قابل قبول به نظر می رسد.

من آموخته ام که از هر پیوند 400G، نه فقط از ارسال-آمار FEC درخواست کنم. پیوندی که 0.00 پست-FEC BER را در حین اجرای قبل از-FEC BER در 2×10⁻4 نشان می‌دهد، عالی به نظر می‌رسد تا زمانی که متوجه شوید تقریباً هیچ حاشیه‌ای باقی نمانده است. یک کانکتور کمی کثیف یا یک لیزر قدیمی اضافه کنید، و آن لینک بدون هشدار از صخره FEC سر می زند.

 

آلودگی اتصال دهنده

 

در 400G مشکل آلودگی حاد می شود. چشم مدوله شده حاشیه کمتری دارد. ذراتی که در سرعت‌های پایین‌تر نامرئی می‌بودند، اکنون به اندازه‌ای ضعیف شده‌اند که ماده باشند.

هسته های فیبر تک حالته 9 میکرومتر هستند. یک کانکتور MTP/MPO{6}}12 دارای هشت مسیر فیبر فعال (چهار TX، چهار RX) به علاوه چهار مسیر استفاده نشده است. هر چرخه جفت گیری خطر آلودگی دارد. هر صفحه انتهائی آلوده خطر از دست دادن درج را دارد که به بودجه پیوند شما می خورد.

نظم و انضباط تمیز کردن مورد نیاز قابل مذاکره نیست، اما به ندرت به طور مداوم دنبال می شود. پاک‌کننده‌های یک کلیک، دستمال‌های خشک با نگرانی‌های ساکن، تمیز کردن مرطوب با ایزوپروپیل الکل که باید فوراً خشک شوند تا تبخیر شوند-هر روشی طرفداران و منتقدانی دارد. چیزی که همه در مورد آن توافق دارند: قبل از اتصال با یک فیبر اسکوپ بازرسی کنید و اگر کثیف است، آن را تمیز کنید و دوباره بررسی کنید.

من یک تیم استقرار را تماشا کردم که یک بعدازظهر کامل را در حال عیب‌یابی یک پیوند متناوب 400G-DR4 می‌سوزاند. تعویض ماژول های متعدد بررسی پیکربندی سرانجام محدوده بازرسی را شکست و بقایای ساختمانی را روی آداپتور دیواری پیدا کرد که هیچ کس فکر نمی کرد آنها را بررسی کند. بیست ثانیه با یک ابزار تمیز کردن چیزی که چهار ساعت عیب یابی نتوانست آن را برطرف کند.

 

 

این همه به چه معناست برای برنامه ریزی

 

اگر امروز پارچه دیتاسنتر جدیدی را به کار می گیرید، 400G خط پایه برای لایه ستون فقرات و به طور فزاینده ای برای پیوندهای بالا-برگ است. هزینه هر بیت به جایی کاهش یافته است که 4×100G از یک ماژول 400G اغلب ارزان تر از ماژول های 100G جداگانه است. DR4 برای هر چیزی بیش از 30 متر در داخل ساختمان. FR4 برای اتصالات پردیس. LR4 یا ZR اگر بین سایت‌ها می‌روید.

اگر شرکتی هستید که به اولین استقرار 400G خود فکر می‌کنید، پلتفرم‌های سوئیچینگ به بلوغ رسیده‌اند، زنجیره تامین ماژول تثبیت شده است، و قیمت‌گذاری دیگر نیازی به امضای{1} اجرایی در هر سفارش خرید ندارد. با یک برگ-بازسازی ستون فقرات شروع کنید، ثابت کنید زیرساخت کابل کشی شما می تواند تحمل آلودگی شدیدتر را تحمل کند و درک کنید که ابزارهای مدیریتی شما قبل از اینکه واقعاً به آنها نیاز داشته باشید باید شروع به جمع آوری آمار FEC کنند.

اگر یک فوق مقیاس کننده هستید که این را می خوانید، در حال حاضر 400G را برای خوشه های GPU پشت سر گذاشته اید و نمی دانید که چگونه 1.6T واقعاً اجرا می شود. با مشکلات حرارتی موفق باشید. من مقالات شما را دو سال دیگر خواهم خواند.

خود ماژول ها به طور قابل توجهی قابل اعتماد شده اند. مشکلات در همه جای دیگر وجود دارند: کانکتورهای آلوده، حالت‌های FEC پیکربندی نادرست، طراحی‌های حرارتی که انرژی دیروز را فرض می‌کردند، و سازمان‌های پشتیبانی که هنوز در حال یادگیری نحوه عیب‌یابی مشکلات یکپارچگی سیگنال PAM4 هستند. اصول غیر جذاب-کانکتورهای شما را تمیز می‌کند، دمای شما را اندازه‌گیری می‌کند، بودجه FEC شما را درک می‌کند{4}}بیش از بحث‌های مربوط به برگه مشخصات مهم است.