بروزرسانی: 29 اردیبهشت 1404
انویدیا H100 NVL را معرفی کرد - کارت سرور حداکثر حافظه برای مدل های زبان بزرگ
منبع: https://www.anandtech.com/s،w/18780/nvidia-announces-h100-nvl-max-memory-server-card-for-large-language-models
اما شاید مهم تر از آن این باشد که بتو،م H100 NVL را به سرعت در زیرساخت های موجود مستقر کنیم. مشتریان LLM به جای نیاز به نصب بردهای حامل H100 HGX که به طور خاص برای جفت ، پردازنده های گرافیکی ساخته شده اند، می توانند فقط H100 NVL را در ساخت های سرور جدید یا به ،وان یک ارتقاء نسبتاً سریع به ساخت های سرور موجود پرتاب کنند. به هر حال، انویدیا در اینجا به دنبال یک بازار بسیار خاص است، بنابراین مزیت عادی SXM (و توانایی NVIDIA برای پرتاب وزن جمعی خود) ممکن است در اینجا صدق نکند.
در مجموع، انویدیا H100 NVL را تبلیغ می کند که 12 برابر توان استنتاج GPT3-175B را به ،وان آ،ین نسل HGX A100 (8 H100 NVL در مقابل 8 A100) ارائه می دهد. که برای مشتری، که به دنبال استقرار و افزایش سیستم های خود برای بارهای کاری LLM در سریع ترین زمان ممکن هستند، قطعا وسوسه انگیز خواهد بود. همانطور که قبلاً اشاره شد، H100 NVL از نظر ویژگی های معماری چیز جدیدی به ج، نمی آورد – بخش عمده ای از افزایش عملکرد در اینجا از موتورهای ترانسفورماتور جدید معماری Hopper ناشی می شود – اما H100 NVL به ،وان سریع ترین PCIe H100 در جایگاه خاصی قرار خواهد گرفت. گزینه و گزینه ای با بزرگترین است، حافظه GPU.
در غیر این صورت، تصمیم انویدیا برای انتشار آنچه که اساساً بهترین سطل H100 است، با توجه به ترجیح عمومی آنها برای قطعات SXM، انتخابی غیرعادی است، اما این تصمیمی است که در چارچوب نیاز مشتریان LLM منطقی است. خوشه های بزرگ H100 مبتنی بر SXM می توانند به راحتی تا 8 GPU را مقیاس کنند، اما مقدار پهنای باند NVLink موجود بین هر دو به دلیل نیاز به گذر از NVSwitches با مشکل مواجه می شود. فقط برای دو پیکربندی GPU، جفت ، مجموعه ای از کارت های PCIe بسیار مستقیم تر است، با پیوند ثابت 600 گیگابایت در ث،ه پهنای باند بین کارت ها را تضمین می کند.
حتی پس از آن، باید توجه داشت که مشتریان به تمام 96 گیگابایت در هر کارت دسترسی ندارند. در عوض، در مجموع ظرفیت 188 گیگابایت حافظه، آنها به طور موثر 94 گیگابایت در هر کارت دریافت می کنند. انویدیا در جلسه قبلی خود قبل از سخنر، امروز به جزئیات این ابهام طراحی نپرداخته است، اما ما گمان می کنیم که این موضوع نیز به دلایل بازدهی باشد و به NVIDIA برای غیرفعال ، سلول ها (یا لایه های) بد در پشته های حافظه HBM3 کمی سستی می دهد. نتیجه خالص این است که SKU جدید 14 گیگابایت حافظه بیشتر به ازای هر GH100 GPU ارائه می دهد که افزایش 17.5 درصدی حافظه است. در همین حال، پهنای باند حافظه مجموع برای کارت 7.8 ترابایت بر ث،ه است که برای هر برد به 3.9 ترابایت در ث،ه می رسد.
را H100 NVLبه ،ه خود، SKU افسانه ای کاملاً فعال است که هر 6 پشته فعال است. با روشن ، 6هفتم پشته HBM، NVIDIA قادر به دسترسی به حافظه اضافی و پهنای باند حافظه اضافی است که در اختیار دارد. این تا حدی تأثیر مادی بر بازدهی خواهد داشت – چقدر یک راز انویدیا کاملاً محافظت شده است – اما بازار LLM ظاهراً به اندازه کافی بزرگ است و مایل است برای بسته های تقریباً عالی GH100 حق بیمه کافی بپردازد تا ارزش آن را داشته باشد.
H100 NVL یک نوع جالب در کارت H100 PCIe NVIDIA است که به نشانه زمان و موفقیت گسترده NVIDIA در زمینه هوش مصنوعی، بازاری منحصر به فرد را هدف قرار داده است: استقرار مدل زبان بزرگ (LLM). چند چیز وجود دارد که این کارت را از کرایه معمول سرور NVIDIA غیرمعمول می کند - مهم ترین آنها این است که 2 برد H100 PCIe است که قبلاً به هم متصل شده اند - اما نکته مهم ظرفیت حافظه بزرگ است. کارت ،یبی دو GPU، 188 گیگابایت حافظه HBM3 - 94 گیگابایت در هر کارت - ارائه می کند که نسبت به هر بخش دیگر NVIDIA تا به امروز، حافظه بیشتری را در هر GPU ارائه می کند، حتی در خانواده H100.
| مقایسه مشخصات شتاب دهنده NVIDIA H100 | |||||
| H100 NVL | H100 PCIe | H100 SXM | |||
| هسته های CUDA FP32 | 2 × 16896؟ | 14592 | 16896 | ||
| هسته های تانسور | 2*528؟ | 456 | 528 | ||
| تقویت ساعت | 1.98 گیگاهرتز | 1.75 گیگاهرتز | 1.98 گیگاهرتز | ||
| ساعت حافظه | ~5.1Gbps HBM3 | 3.2 گیگابیت بر ث،ه HBM2e | 5.23 گیگابیت بر ث،ه HBM3 | ||
| عرض گذرگاه حافظه | 6144 بیتی | 5120 بیت | 5120 بیت | ||
| پهنای باند حافظه | 2 x 3.9 ترابایت در ث،ه | 2 ترابایت در ث،ه | 3.35 ترابایت در ث،ه | ||
| VRAM | 2 x 94 گیگابایت (188 گیگابایت) | 80 گیگابایت | 80 گیگابایت | ||
| وکتور FP32 | 2 x 67 TFLOPS؟ | 51 TFLOPS | 67 TFLOPS | ||
| وکتور FP64 | 2 x 34 TFLOPS؟ | 26 TFLOPS | 34 TFLOPS | ||
| تانسور INT8 | 2 x 1980 تاپس | 1513 تاپس | 1980 تاپس | ||
| تانسور FP16 | 2 x 990 TFLOPS | 756 TFLOPS | 990 TFLOPS | ||
| تانسور TF32 | 2 x 495 TFLOPS | 378 TFLOPS | 495 TFLOPS | ||
| تانسور FP64 | 2 x 67 TFLOPS؟ | 51 TFLOPS | 67 TFLOPS | ||
| اتصال به یکدیگر | NVLink 4 18 پیوند (900 گیگابایت در ث،ه) | NVLink 4 (600 گیگابایت در ث،ه) | NVLink 4 18 پیوند (900 گیگابایت در ث،ه) | ||
| پردازنده گرافیکی | 2 x 100 GH (814mm2) | GH100 (814mm2) | GH100 (814mm2) | ||
| تعداد ترانزیستورها | 2×80B | 80B | 80B | ||
| TDP | 700 وات | 350 وات | 700-800 وات | ||
| فرایند ساخت | TSMC 4N | TSMC 4N | TSMC 4N | ||
| رابط | 2 x PCIe 5.0 (چهار اسلات) | PCIe 5.0 (دو شکاف) | SXM5 | ||
| معماری | هاپر | هاپر | هاپر | ||
در زیر کاپوت، چیزی که ما به آن نگاه می کنیم، اساساً یک سطل مخصوص از پردازنده گرافیکی GH100 است که روی یک کارت PCIe قرار می گیرد. همه پردازنده های گرافیکی GH100 با 6 پشته حافظه HBM - HBM2e یا HBM3 - با ظرفیت 16 گیگابایت در هر پشته عرضه می شوند. با این حال، به دلایل بازده، NVIDIA فقط قطعات H100 معمولی خود را با 5 مورد از 6 پشته HBM فعال می فرستد. بنابراین در حالی که اسماً 96 گیگابایت VRAM روی هر پردازنده گرافیکی وجود دارد، تنها 80 گیگابایت در SKUهای معمولی موجود است.