英偉達(dá)宣布推出HGX H200人工智能加速卡 推理速度較H100翻倍 – 藍(lán)點(diǎn)網(wǎng)
芯片制造商英偉達(dá)今天宣布推出 NVIDIA H100 GPU 的英偉下一代產(chǎn)品：NVIDIA HGX H200 GPU，基于 Hopper 架構(gòu)開發(fā)、達(dá)宣采用 HBM3e 內(nèi)存、布推常州包養(yǎng)外圍上門外圍女上門外圍上門外圍女（電話微信181-2989-2716）怎么找空姐莞式外圍上門外圍女桑拿全套按摩高端模特特殊外圍上門外圍女帶寬 4.8TB 每秒。工智
就人工智能方面的速卡速度優(yōu)勢，英偉達(dá)稱，推理與 H100 加速卡相比，翻倍HGX H200 在 Llama 2 (Meta AI 推出的藍(lán)點(diǎn)開源模型，參數(shù)為 70B) 上的英偉推理速度提高了一倍。
英偉達(dá)稱借助 HBM3e 內(nèi)存，達(dá)宣HGX H200 帶寬高達(dá) 4.8TB 每秒、布推常州包養(yǎng)外圍上門外圍女上門外圍上門外圍女（電話微信181-2989-2716）怎么找空姐莞式外圍上門外圍女桑拿全套按摩高端模特特殊外圍上門外圍女提供 141GB 的工智內(nèi)存，這可以為參數(shù)更多的速卡速度 LLM 提供更多、更快的推理內(nèi)存需求。
HGX H200 提供 4 路和 8 路配置，翻倍與 H100 系統(tǒng)中的軟硬件都兼容，適合各種類型的數(shù)據(jù)中心，包括本地、云、混合云、邊緣計算，并且可以通過 AWS、Google Cloud、Microsoft Azure 和 Oracle Cloud 進(jìn)行部署。
HGX H200 將在 2024 年第二季度上市銷售。
另一款產(chǎn)品是 NVIDIA GH200 Grace Hopper 超級芯片，英偉達(dá)稱其與 NVLink-C2C 互聯(lián)可以將 HGX H200 GPU 與基于 Arm 的 NVIDIA Grace CPU 結(jié)合在一起。
這個方案是專門為超算設(shè)計的，可以讓科學(xué)家和研究人員通過加速運(yùn)行 TB 級別的數(shù)據(jù)和進(jìn)行復(fù)雜的 AI 計算來解決世界上最具有挑戰(zhàn)性的問題。
英偉達(dá)稱 GH200 用于全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺人工智能超算，包括戴爾、HPE、聯(lián)想、Eviden、QCT、Supermicro 等公司的超算。
其中 HPE 的 Cray EX2500 超算使用四顆 GH200，可以擴(kuò)展到數(shù)萬個 Grace Hopper Superchip 節(jié)點(diǎn)。
而最大的 Grace Hopper 超算應(yīng)該是德國的 JUPITER，這臺超算將在 2024 年完成部署并成為世界最強(qiáng)大的人工智能系統(tǒng)，其采用液冷架構(gòu)，使用 24,000 個 GH200 與 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)平臺互聯(lián)。
英偉達(dá)稱德國的 JUPITER 將在氣候和天氣預(yù)測等領(lǐng)域取得科學(xué)突破，通過交互式可視化生成高分辨率的氣候和天氣模擬，也將被用于藥物研發(fā)、量子計算和工業(yè)工程領(lǐng)域。
附 H200 參數(shù)：
FP64 34 TFLOPS
FP64 Tensor Core 67 TFLOPS
FP32 67 TFLOPS
TF32 Tensor Core 989 TFLOPS
BFLOAT16 Tensor Core 1,979 TFLOPS
FP16 Tensor Core 1,979 TFLOPS
FP8 Tensor Core 3,958 TFLOPS
INT8 Tensor Core 3,958 TFLOPS
GPU Memory 141GB
GPU Memory Bandwidth 4.8TB/s
Decoders 7 NVDEC/JPEG
Max Thermal Design Power (TDP) Up to 700W (configurable)
Multi-Instance GPUs Up to 7 MIGs @16.5GB each
Interconnect NVIDIA NVLink?: 900GB/s
PCIe Gen5: 128GB/s
Server Options NVIDIA HGX? H200 partner and NVIDIA-Certified Systems? with 4 or 8 GPUs
NVIDIA AI Enterprise Add-on