NVIDIA 13 日推出 AI 運算平台 HGX H200，採 Hopper 架構，配備 H200 Tensor Core GPU 和高階記憶體，以處理 AI 和高效能運算產生的大量資料。NVIDIA 對上一代 H100 進行升級，記憶體頻寬提高 1.4 倍、容量提高 1.8 倍，提升處理密集型生成式 AI 工作的能力。
H200 對內建記憶體改變帶來有意義的升級，首次採用 HBM3e 記憶體規格，使 GPU 記憶體頻寬從 H100 的每秒 3.35TB 提高至 4.8TB，記憶體總容量也從 H100 的 80GB 提高至 141GB，與 H100 相比，對 Llama 2 模型的推理速度幾乎翻倍。
「整合更快、更廣泛的 HBM 記憶體有助於對運算要求較高的任務提升效能，包括生成式 AI 模型和高效能運算應用程式，同時優化 GPU 使用率和效率」，NVIDIA 高效能運算產品副總裁 Ian Buck 表示。
H200 還能與已支援 H100 的系統相容，NVIDIA 表示，雲端服務商將 H200 新增到產品組合時不需要進行任何修改。首批 H200 預計 2024 年第二季出貨，NVIDIA 伺服器製造夥伴（包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯想、雲達、美超微、緯創資通以及緯穎科技）可以使用 H200 更新現有系統，而亞馬遜、Google、微軟、甲骨文等將成為首批採用 H200 的雲端服務商。
新晶片推出肯定很昂貴，NVIDIA 沒有列出它的價格，國外媒體 CNBC 報導則稱，上一代 H100 價格估計為每個 25,000 美元至 40,000 美元。NVIDIA 發言人 Kristin Uchiyama 指出，最終定價將由 NVIDIA 製造夥伴制定。
H200 亮相後不會影響 H100 生產，「你會看到我們全年的整體供應量有所增加」，Kristin Uchiyama 談道。
NVIDIA 晶片被視為高效處理大量資料和訓練大型語言模型、AI 生成工具最佳選擇，在發表 H200 之際，AI 公司仍在市場上拚命尋求 H100。於是市場關注焦點仍在於，企業客戶是否能夠順利獲得新晶片，還是會像 H100 一樣有供不應求的狀況，對此 NVIDIA 並沒有給出答案。
明年對 GPU 買家而言將是一個更有利時期，《金融時報》8 月報道曾指出，NVIDIA 計劃在 2024 年將 H100 產量成長三倍，產量目標將從 2023 年約 50 萬個增加至 2024 年 200 萬個。但生成式 AI 仍在蓬勃發展，需求可能只會更大。
隨著 H200 推出，NVIDIA 13 日股價一度上漲 1.5%，今年到目前為止，NVIDIA 股價已經上漲超過 200%，也成為費城半導體指數至今表現最好的公司。
- NVIDIA Upgrades Processor as Rivals Challenge AI Dominance
- NVIDIA unveils H200, its newest high-end chip for training AI models
- NVIDIA is launching a new must-have AI chip — as customers still scramble for its last one
（首圖來源：NVIDIA）
科技新報粉絲團
加入好友
訂閱免費電子報
