سیستم‌های DGX H100 که مسائل را برای NVIDIA پیچیده‌تر می‌کند، بر اساس 4 اینتل که مکرراً به تأخیر افتاده است.هفتم نسل پردازنده‌های Xeon Scalable (Sapphire Rapids) که در حال حاضر هنوز اطلاعات انتشار کاملی ندارند. پیش‌بینی‌های خوش‌بینانه‌تر نشان می‌دهد که آن در سه ماهه اول عرضه می‌شود، که با تاریخ انتشار NVIDIA مطابقت دارد – اگرچه این ممکن است تصادفی باشد. در هر صورت، عدم دسترسی عمومی برای Sapphire Rapids در اینجا هیچ لطفی به NVIDIA نمی کند.
همچنین تفاوت‌های قابل توجهی بین این دو فاکتور شکل وجود دارد. نسخه SXM تنها نسخه‌ای است که از حافظه HBM3 استفاده می‌کند (PCIe از HBM2e استفاده می‌کند)، و نسخه PCIe به SMهای کمتری نیاز دارد (114 در مقابل 132). بنابراین در اینجا فضایی برای انویدیا وجود دارد که مشکلات بازده اولیه را پنهان کند، اگر واقعاً این یک عامل باشد.
با نگاهی به موضوعات، ترتیب عرضه سیستم ها و محصولات اساساً از استراتژی معمول NVIDIA تغییر می کند. شرکای NVIDIA به جای شروع با سیستم‌هایی که بر اساس بخش‌های فرم فاکتور SXM با بالاترین کارایی آن‌ها هستند، در عوض با کارت‌های PCIe با عملکرد پایین‌تر شروع می‌کنند. به این م،ی که اولین سیستم‌هایی که در ماه اکتبر ارسال می‌شوند از کارت‌های PCIe استفاده می‌کنند، و تنها در اوا، سال است که شرکای NVIDIA سیستم‌هایی را ارسال می‌کنند که کارت‌های سریع‌تر SXM و برد حامل HGX خود را یکپارچه می‌کنند.
| مقایسه مشخصات شتاب دهنده NVIDIA | ||||||
| H100 SXM | H100 PCIe | A100 SXM | A100 PCIe | |||
| هسته های CUDA FP32 | 16896 | 14592 | 6912 | 6912 | ||
| هسته های تانسور | 528 | 456 | 432 | 432 | ||
| تقویت ساعت | ~ 1.78 گیگاهرتز (نهائی) |
~ 1.64 گیگاهرتز (نهائی) |
1.41 گیگاهرتز | 1.41 گیگاهرتز | ||
| ساعت حافظه | 4.8 گیگابیت بر ث،ه HBM3 | 3.2 گیگابیت بر ث،ه HBM2e | 3.2 گیگابیت بر ث،ه HBM2e | 3.0 گیگابیت بر ث،ه HBM2e | ||
| عرض گذرگاه حافظه | 5120 بیت | 5120 بیت | 5120 بیت | 5120 بیت | ||
| پهنای باند حافظه | 3 ترابایت در ث،ه | 2 ترابایت در ث،ه | 2 ترابایت در ث،ه | 2 ترابایت در ث،ه | ||
| VRAM | 80 گیگابایت | 80 گیگابایت | 80 گیگابایت | 80 گیگابایت | ||
| وکتور FP32 | 60 TFLOPS | 48 TFLOPS | 19.5 ترافلاپس | 19.5 ترافلاپس | ||
| وکتور FP64 | 30 TFLOPS | 24 TFLOPS | 9.7 TFLOPS (نرخ FP32 1/2) |
9.7 TFLOPS (نرخ FP32 1/2) |
||
| تانسور INT8 | 2000 تاپس | 1600 تاپس | 624 تاپ | 624 تاپ | ||
| تانسور FP16 | 1000 TFLOPS | 800 TFLOPS | 312 TFLOPS | 312 TFLOPS | ||
| تانسور TF32 | 500 TFLOPS | 400 TFLOPS | 156 TFLOPS | 156 TFLOPS | ||
| تانسور FP64 | 60 TFLOPS | 48 TFLOPS | 19.5 ترافلاپس | 19.5 ترافلاپس | ||
| اتصال به یکدیگر | NVLink 4 18 پیوند (900 گیگابایت در ث،ه) |
NVLink 4 (600 گیگابایت در ث،ه) |
NVLink 3 12 پیوند (600 گیگابایت در ث،ه) |
NVLink 3 12 پیوند (600 گیگابایت در ث،ه) |
||
| پردازنده گرافیکی | GH100 (814mm2) |
GH100 (814mm2) |
GA100 (826mm2) |
GA100 (826mm2) |
||
| تعداد ترانزیستورها | 80B | 80B | 54.2B | 54.2B | ||
| TDP | 700 وات | 350 وات | 400 وات | 300 وات | ||
| فرایند ساخت | TSMC 4N | TSMC 4N | TSMC 7N | TSMC 7N | ||
| رابط | SXM5 | PCIe 5.0 (دو شکاف) |
SXM4 | PCIe 4.0 (دو شکاف) |
||
| معماری | هاپر | هاپر | آمپر | آمپر | ||
در همین حال، سیستم‌های پرچمدار DGX انویدیا، که معمولاً جزو اولین سیستم‌هایی هستند که عرضه می‌شوند، اکنون در میان آ،ین‌ها خواهند بود. انویدیا امروز پیش‌سفارش‌های سیستم‌های DGX H100 را باز می‌کند و تحویل آن برای سه ماهه اول سال ۲۰۲۳ – ۴ تا ۷ ماه آینده در نظر گرفته شده است. این خبر خوبی برای شرکای سرور NVIDIA است، که در چند نسل گذشته باید منتظر بمانند تا NVIDIA را دنبال کنند، اما همچنین به این م،ی است که H100 به ،وان یک محصول نمی‌تواند بهترین عملکرد خود را در هنگام عرضه در سیستم‌ها انجام دهد. ماه آینده
در یک جلسه مقدماتی با مطبوعات، انویدیا توضیح دقیقی درباره علت تاخیر H100 ارائه نکرد. با وجود صحبت در سطح بالا، نمایندگان شرکت اظهار داشتند که تاخیر به دلایل جزئی نبوده است. در همین حال، این شرکت سادگی نسبی کارت‌های PCIe را به این دلیل ذکر کرد که سیستم‌های PCIe ابتدا ارسال می‌شوند. آن‌ها عمدتاً در زیرساخت‌های PCIe عمومی به‌صورت پلاگین و بازی هستند، در حالی که سیستم‌های H100 HGX/SXM پیچیده‌تر بودند و تکمیل آن‌ها زمان بیشتری می‌برد.
با اوج گرفتن رویداد پاییزی NVIDIA GTC، این شرکت در سخنر، صبح امروز به یک یا آن به بخش عمده ای از تجارت اصلی خود اشاره کرد. در بخش سازم،، یکی از طول،ترین به‌روزرس،های مورد انتظار، وضعیت ارسال شتاب‌دهنده H100 «Hopper» NVIDIA بود که در زمان معرفی قرار بود در سه‌ماهه سوم سال جاری عرضه شود. همانطور که مشخص است، با توجه به اینکه Q3 در حال حاضر تقریباً بالاتر از H100 است، قرار نیست تاریخ در دسترس بودن Q3 خود را اعلام کند. اما، به گفته NVIDIA، شتاب دهنده در حال تولید کامل است و اولین سیستم ها در ماه اکتبر از OEM ها ارسال خواهند شد.
H100 اولین بار در ماه مارس در رویداد سالانه GTC بهاره NVIDIA معرفی شد، H100 نسل بعدی شتاب دهنده عملکرد بالای NVIDIA برای سرورها، هایپراسکی،ها و بازارهای مشابه است. بر اساس معماری Hopper و ساخته شده بر روی فرآیند 4 نانومتری TSMC، H100 دنباله‌ای از شتاب‌دهنده بسیار موفق A100 NVIDIA است. در میان تغییرات دیگر، جدیدترین شتاب دهنده این شرکت حافظه HBM3، پشتیب، از مدل‌های ترانسفورماتور در هسته‌های تانسوری خود، پشتیب، از برنامه‌نویسی پویا، نسخه به‌روز شده GPU چند نمونه‌ای با انزوا قوی‌تر، و توان مح،اتی بسیار بیشتر برای هر دو را پیاده‌سازی می‌کند. انواع داده بردار و تانسور شتاب دهنده H100 بر اساس پردازنده گرافیکی سنگین 80 میلیارد ترانزیستوری GH100 NVIDIA، با حدا،ر TDP 700 وات، از نظر مصرف انرژی نیز در حال افزایش است.
در نهایت، در حالی که ما در مورد H100 صحبت می کنیم، NVIDIA همچنین از GTC این هفته برای اعلام به روز رس، مجوز برای پشته نرم افزار NVIDIA AI Enterprise خود استفاده می کند. H100 اکنون با مجوز 5 ساله برای نرم افزار ارائه می شود، که قابل توجه است زیرا اشتراک 5 ساله معمولاً 8000 دلار برای هر سوکت CPU است.
منبع: https://www.anandtech.com/s،w/17581/nvidia-h100-،pper-accelerator-now-in-full-،uction-dgx-،pping-in-q1-23
در نهایت، با توجه به اینکه NVIDIA قادر به ارسال DGX تا سال آینده نیست، شرکای سرور NVIDIA خواهند بود که ابتدا با سیستم‌های HGX در دسترس هستند – احتمالاً از میزبان‌های نسل فعلی یا احتمالاً پلتفرم جنوا AMD در صورت آماده شدن به موقع. در میان شرکت هایی که قرار است سیستم های H100 را ارسال کنند، مظنونین معمولی از جمله Supermicro، Dell، HPE، Gigabyte، Fujitsu، Cisco و Atos هستند.
در همین حال، برای مشتری، که مشتاق هستند H100 را قبل از ،ید هر سخت افزاری امتحان کنند، H100 اکنون در سرویس LaunchPad NVIDIA در دسترس است.
