hadicanim
Aktif Üye
H100 GPU başka bir hız artışı elde ediyor: Nvidia, onu HBM3 bellek bileşenleri yerine HBM3e ile başlatıyor. Bu, hem RAM kapasitesini hem de aktarım hızını artırır ve özellikle büyük yapay zeka modellerinin eğitimini hızlandırmayı amaçlar.
Reklamcılık
Nvidia, Siggraph ticaret fuarı için yaptığı duyuruda, tabii ki seçilen “en iyi durum” senaryolarında 3,5 kat artıştan bahsediyor. Bununla birlikte, şimdilik, geliştirilmiş H100 GPU, ortak bir devre kartı üzerinde Nvidia’nın kendi ARM işlemcisi Grace ile birlikte yalnızca bir GH200 “süper çip” olarak mevcuttur.
GPU başına 141 GB HBM3e
Bu varyantta hızlandırıcı, yaklaşık 5 TB/sn aktarım hızına sahip 141 GB HBM3e bellek kullanır. Nvidia, bu çarpık kapasite için herhangi bir teknik arka plan sağlamıyor – bazı bellek konumları muhtemelen devre dışı. Samsung, SK Hynix ve Micron başlangıçta 24 GB’a kadar kapasiteye sahip bileşenler üretiyor – bunların altısı aslında 144 GB yapıyor.
Orijinal H100 versiyonunda, bağlı altı HBM3 yapı bloğundan beşi aktiftir. Bu nedenle 3,35 TB/s aktarım hızına sahip 80 GB RAM kullanılabilir. H100 NVL ile altıncı HBM3 modülü aktiftir. Bu, kapasiteyi 94 GB’a yükseltir – ayrı depolama katmanları da burada kapatılır – ve aktarım hızı 3,9 TB/sn’ye çıkar.
Ekipmanın geri kalanı üç versiyon arasında değişmez. Hepsi, AI eğitimi sırasında neredeyse 4 petaflopluk bir bilgi işlem gücüne ulaşan 14.592 gölgelendirici çekirdeği kullanır. Bu değer, düşük hassasiyetle FP8 hesaplaması için geçerlidir, ancak eğitim için yeterlidir.
Reklamcılık
72 Neoverse V2 ARM çekirdeği ile GH200 kartlarının Grace CPU’su bugünlerde üst orta sınıfa ait. Ana bilgi işlem yükü açık ara H100 GPU’dur.
Henüz mevcut değil
Yeni GH200 kartlarına sahip ilk sistemler 2024’ün ikinci çeyreğinde piyasaya sürülecek. O zamana kadar bellek üreticileri HBM3e bileşenlerini teslim edebilecek. Ek olarak, Nvidia’nın teslimat darboğazlarını hafifletmek için hala zamanı var.
Önceki Grace Hopper kombinasyonuna sahip sistemler hala nadirdir. Nvidia, 2023’ün ilk yarısı için 2022 yazının başlarında duyurdu; ilk modeller Mayıs ayında Computex ticaret fuarında sergilendi. Ancak, henüz ticari olarak ortaya çıkmadılar.
(mm)
Haberin Sonu
Reklamcılık
Nvidia, Siggraph ticaret fuarı için yaptığı duyuruda, tabii ki seçilen “en iyi durum” senaryolarında 3,5 kat artıştan bahsediyor. Bununla birlikte, şimdilik, geliştirilmiş H100 GPU, ortak bir devre kartı üzerinde Nvidia’nın kendi ARM işlemcisi Grace ile birlikte yalnızca bir GH200 “süper çip” olarak mevcuttur.
GPU başına 141 GB HBM3e
Bu varyantta hızlandırıcı, yaklaşık 5 TB/sn aktarım hızına sahip 141 GB HBM3e bellek kullanır. Nvidia, bu çarpık kapasite için herhangi bir teknik arka plan sağlamıyor – bazı bellek konumları muhtemelen devre dışı. Samsung, SK Hynix ve Micron başlangıçta 24 GB’a kadar kapasiteye sahip bileşenler üretiyor – bunların altısı aslında 144 GB yapıyor.
Orijinal H100 versiyonunda, bağlı altı HBM3 yapı bloğundan beşi aktiftir. Bu nedenle 3,35 TB/s aktarım hızına sahip 80 GB RAM kullanılabilir. H100 NVL ile altıncı HBM3 modülü aktiftir. Bu, kapasiteyi 94 GB’a yükseltir – ayrı depolama katmanları da burada kapatılır – ve aktarım hızı 3,9 TB/sn’ye çıkar.
GPU | H100 | H100 NVL | H100 (GH200 kartı) |
gölgelendirici çekirdekleri | 14.592 | 14.592 | 14.592 |
Depolamak | 80 GB HBM3 | 94 GB HBM3 | 141 HBM3e |
transfer oranı | 3,35 TB/sn | 3,9 TB/sn | yakl. 5 TByte/s |
Ekipmanın geri kalanı üç versiyon arasında değişmez. Hepsi, AI eğitimi sırasında neredeyse 4 petaflopluk bir bilgi işlem gücüne ulaşan 14.592 gölgelendirici çekirdeği kullanır. Bu değer, düşük hassasiyetle FP8 hesaplaması için geçerlidir, ancak eğitim için yeterlidir.
Reklamcılık
72 Neoverse V2 ARM çekirdeği ile GH200 kartlarının Grace CPU’su bugünlerde üst orta sınıfa ait. Ana bilgi işlem yükü açık ara H100 GPU’dur.
Henüz mevcut değil
Yeni GH200 kartlarına sahip ilk sistemler 2024’ün ikinci çeyreğinde piyasaya sürülecek. O zamana kadar bellek üreticileri HBM3e bileşenlerini teslim edebilecek. Ek olarak, Nvidia’nın teslimat darboğazlarını hafifletmek için hala zamanı var.
Önceki Grace Hopper kombinasyonuna sahip sistemler hala nadirdir. Nvidia, 2023’ün ilk yarısı için 2022 yazının başlarında duyurdu; ilk modeller Mayıs ayında Computex ticaret fuarında sergilendi. Ancak, henüz ticari olarak ortaya çıkmadılar.
(mm)
Haberin Sonu