H100 Hopper Accelerator اکنون در حال تولید کامل است، حمل و نقل DGX در Q1’23


با اوج گرفتن رویداد پاییزی NVIDIA GTC، این شرکت در سخنر، صبح امروز به یک یا آن به بخش عمده ای از تجارت اصلی خود اشاره کرد. در بخش سازم،، یکی از طول،‌ترین به‌روزرس،‌های مورد انتظار، وضعیت ارسال شتاب‌دهنده H100 «Hopper» NVIDIA بود که در زمان معرفی قرار بود در سه‌ماهه سوم سال جاری عرضه شود. همانطور که مشخص است، با توجه به اینکه Q3 در حال حاضر تقریباً بالاتر از H100 است، قرار نیست تاریخ در دسترس بودن Q3 خود را اعلام کند. اما، به گفته NVIDIA، شتاب دهنده در حال تولید کامل است و اولین سیستم ها در ماه اکتبر از OEM ها ارسال خواهند شد.

H100 اولین بار در ماه مارس در رویداد سالانه GTC بهاره NVIDIA معرفی شد، H100 نسل بعدی شتاب دهنده عملکرد بالای NVIDIA برای سرورها، هایپراسکی،ها و بازارهای مشابه است. بر اساس معماری Hopper و ساخته شده بر روی فرآیند 4 نانومتری TSMC، H100 دنباله‌ای از شتاب‌دهنده بسیار موفق A100 NVIDIA است. در میان تغییرات دیگر، جدیدترین شتاب دهنده این شرکت حافظه HBM3، پشتیب، از مدل‌های ترانسفورماتور در هسته‌های تانسوری خود، پشتیب، از برنامه‌نویسی پویا، نسخه به‌روز شده GPU چند نمونه‌ای با انزوا قوی‌تر، و توان مح،اتی بسیار بیشتر برای هر دو را پیاده‌سازی می‌کند. انواع داده بردار و تانسور شتاب دهنده H100 بر اساس پردازنده گرافیکی سنگین 80 میلیارد ترانزیستوری GH100 NVIDIA، با حدا،ر TDP 700 وات، از نظر مصرف انرژی نیز در حال افزایش است.

با توجه به اینکه رویداد NVIDIA بهار GTC دقیقاً با پنجره تولید این نسل مطابقت نداشت، اعلامیه H100 در اوایل سال جاری بیان کرد که NVIDIA اولین سیستم های H100 را در Q3 ارسال خواهد کرد. با این حال، اه، تحویل به‌روزرس،‌شده NVIDIA که امروز بیان شد به این م،ی است که تاریخ سه‌ماهه سوم کاهش یافته است. خبر خوب این است که H100 در حال تولید کامل است، همانطور که NVIDIA می گوید. خبر بد این است که به نظر می رسد تولید و ادغام به موقع شروع نشده است. در این مرحله، شرکت انتظار ندارد اولین سیستم‌های تولید تا اکتبر، ی،ی شروع سه ماهه چهارم به دست مشتریان برسد.

با نگاهی به موضوعات، ترتیب عرضه سیستم ها و محصولات اساساً از استراتژی معمول NVIDIA تغییر می کند. شرکای NVIDIA به جای شروع با سیستم‌هایی که بر اساس بخش‌های فرم فاکتور SXM با بالاترین کارایی آن‌ها هستند، در عوض با کارت‌های PCIe با عملکرد پایین‌تر شروع می‌کنند. به این م،ی که اولین سیستم‌هایی که در ماه اکتبر ارسال می‌شوند از کارت‌های PCIe استفاده می‌کنند، و تنها در اوا، سال است که شرکای NVIDIA سیستم‌هایی را ارسال می‌کنند که کارت‌های سریع‌تر SXM و برد حامل HGX خود را یکپارچه می‌کنند.


























مقایسه مشخصات شتاب دهنده NVIDIA
H100 SXM H100 PCIe A100 SXM A100 PCIe
هسته های CUDA FP32 16896 14592 6912 6912
هسته های تانسور 528 456 432 432
تقویت ساعت ~ 1.78 گیگاهرتز
(نهائی)
~ 1.64 گیگاهرتز
(نهائی)
1.41 گیگاهرتز 1.41 گیگاهرتز
ساعت حافظه 4.8 گیگابیت بر ث،ه HBM3 3.2 گیگابیت بر ث،ه HBM2e 3.2 گیگابیت بر ث،ه HBM2e 3.0 گیگابیت بر ث،ه HBM2e
عرض گذرگاه حافظه 5120 بیت 5120 بیت 5120 بیت 5120 بیت
پهنای باند حافظه 3 ترابایت در ث،ه 2 ترابایت در ث،ه 2 ترابایت در ث،ه 2 ترابایت در ث،ه
VRAM 80 گیگابایت 80 گیگابایت 80 گیگابایت 80 گیگابایت
وکتور FP32 60 TFLOPS 48 TFLOPS 19.5 ترافلاپس 19.5 ترافلاپس
وکتور FP64 30 TFLOPS 24 TFLOPS 9.7 TFLOPS
(نرخ FP32 1/2)
9.7 TFLOPS
(نرخ FP32 1/2)
تانسور INT8 2000 تاپس 1600 تاپس 624 تاپ 624 تاپ
تانسور FP16 1000 TFLOPS 800 TFLOPS 312 TFLOPS 312 TFLOPS
تانسور TF32 500 TFLOPS 400 TFLOPS 156 TFLOPS 156 TFLOPS
تانسور FP64 60 TFLOPS 48 TFLOPS 19.5 ترافلاپس 19.5 ترافلاپس
اتصال به یکدیگر NVLink 4
18 پیوند (900 گیگابایت در ث،ه)
NVLink 4
(600 گیگابایت در ث،ه)
NVLink 3
12 پیوند (600 گیگابایت در ث،ه)
NVLink 3
12 پیوند (600 گیگابایت در ث،ه)
پردازنده گرافیکی GH100
(814mm2)
GH100
(814mm2)
GA100
(826mm2)
GA100
(826mm2)
تعداد ترانزیستورها 80B 80B 54.2B 54.2B
TDP 700 وات 350 وات 400 وات 300 وات
فرایند ساخت TSMC 4N TSMC 4N TSMC 7N TSMC 7N
رابط SXM5 PCIe 5.0
(دو شکاف)
SXM4 PCIe 4.0
(دو شکاف)
معماری هاپر هاپر آمپر آمپر

در همین حال، سیستم‌های پرچمدار DGX انویدیا، که معمولاً جزو اولین سیستم‌هایی هستند که عرضه می‌شوند، اکنون در میان آ،ین‌ها خواهند بود. انویدیا امروز پیش‌سفارش‌های سیستم‌های DGX H100 را باز می‌کند و تحویل آن برای سه ماهه اول سال ۲۰۲۳ – ۴ تا ۷ ماه آینده در نظر گرفته شده است. این خبر خوبی برای شرکای سرور NVIDIA است، که در چند نسل گذشته باید منتظر بمانند تا NVIDIA را دنبال کنند، اما همچنین به این م،ی است که H100 به ،وان یک محصول نمی‌تواند بهترین عملکرد خود را در هنگام عرضه در سیستم‌ها انجام دهد. ماه آینده

در یک جلسه مقدماتی با مطبوعات، انویدیا توضیح دقیقی درباره علت تاخیر H100 ارائه نکرد. با وجود صحبت در سطح بالا، نمایندگان شرکت اظهار داشتند که تاخیر به دلایل جزئی نبوده است. در همین حال، این شرکت سادگی نسبی کارت‌های PCIe را به این دلیل ذکر کرد که سیستم‌های PCIe ابتدا ارسال می‌شوند. آن‌ها عمدتاً در زیرساخت‌های PCIe عمومی به‌صورت پلاگین و بازی هستند، در حالی که سیستم‌های H100 HGX/SXM پیچیده‌تر بودند و تکمیل آن‌ها زمان بیشتری می‌برد.

همچنین تفاوت‌های قابل توجهی بین این دو فاکتور شکل وجود دارد. نسخه SXM تنها نسخه‌ای است که از حافظه HBM3 استفاده می‌کند (PCIe از HBM2e استفاده می‌کند)، و نسخه PCIe به SMهای کمتری نیاز دارد (114 در مقابل 132). بنابراین در اینجا فضایی برای انویدیا وجود دارد که مشکلات بازده اولیه را پنهان کند، اگر واقعاً این یک عامل باشد.

سیستم‌های DGX H100 که مسائل را برای NVIDIA پیچیده‌تر می‌کند، بر اساس 4 اینتل که مکرراً به تأخیر افتاده است.هفتم نسل پردازنده‌های Xeon Scalable (Sapphire Rapids) که در حال حاضر هنوز اطلاعات انتشار کاملی ندارند. پیش‌بینی‌های خوش‌بینانه‌تر نشان می‌دهد که آن در سه ماهه اول عرضه می‌شود، که با تاریخ انتشار NVIDIA مطابقت دارد – اگرچه این ممکن است تصادفی باشد. در هر صورت، عدم دسترسی عمومی برای Sapphire Rapids در اینجا هیچ لطفی به NVIDIA نمی کند.

در نهایت، با توجه به اینکه NVIDIA قادر به ارسال DGX تا سال آینده نیست، شرکای سرور NVIDIA خواهند بود که ابتدا با سیستم‌های HGX در دسترس هستند – احتمالاً از میزبان‌های نسل فعلی یا احتمالاً پلتفرم جنوا AMD در صورت آماده شدن به موقع. در میان شرکت هایی که قرار است سیستم های H100 را ارسال کنند، مظنونین معمولی از جمله Supermicro، Dell، HPE، Gigabyte، Fujitsu، Cisco و Atos هستند.

در همین حال، برای مشتری، که مشتاق هستند H100 را قبل از ،ید هر سخت افزاری امتحان کنند، H100 اکنون در سرویس LaunchPad NVIDIA در دسترس است.

در نهایت، در حالی که ما در مورد H100 صحبت می کنیم، NVIDIA همچنین از GTC این هفته برای اعلام به روز رس، مجوز برای پشته نرم افزار NVIDIA AI Enterprise خود استفاده می کند. H100 اکنون با مجوز 5 ساله برای نرم افزار ارائه می شود، که قابل توجه است زیرا اشتراک 5 ساله معمولاً 8000 دلار برای هر سوکت CPU است.


منبع: https://www.anandtech.com/s،w/17581/nvidia-h100-،pper-accelerator-now-in-full-،uction-dgx-،pping-in-q1-23