定錨 EP009 - 推論爆發100萬倍：GTC揭露NVIDIA下一段成長曲線 ft.Eric（2024-03-23）
📌 一句話摘要
本集節目深入探討NVIDIA在GTC大會上的亮點，聚焦其針對AI推論需求的全新晶片（LPU）、架構（Kyber）和機櫃策略，以及這些技術對供應鏈的影響。
📈 提及的公司與股票
| 公司/股票 | 代號 | 相關數據 | 展望/評論 |
|---|---|---|---|
| NVIDIA | NVDA | 2025-2027年基礎算力設施市場需求預估提升至1兆美元以上 | 預期LPU、CPS等新晶片將推動AI推論需求爆發，並持續推出新產品以強化競爭力 |
| Samsung | N/A | LPU晶片的封裝生產方 | |
| N/A | Grog公司 (LPU技術授權方) 前身為Google TPU設計團隊 | ||
| Broadcom | N/A | 供應鏈重要參與者，相關技術發展值得關注 | |
| Marvel | N/A | 供應鏈重要參與者，相關技術發展值得關注 | |
| Cadence | N/A | 供應鏈重要參與者，相關技術發展值得關注 |
🎯 重點整理
- AI推論需求爆發： NVIDIA強調AI發展進入推論端關鍵時刻，推論需求已暴增100萬倍，並大幅上修長期市場預估。
- LPU晶片： 推出基於SRAM的LPU晶片，針對AI推論端需求設計，旨在降低資料搬運成本，實現低延遲高速運算。
- Rubin架構與機櫃： 展示了下一代Rubin Ultra機櫃，以及搭配LPU、CPU、GPU等不同晶片的機櫃組合，並推出新的CPU機櫃。
- 供應鏈影響： 新晶片和架構將對晶圓產能、封裝測試、主板材料、記憶體、液冷散熱等供應鏈環節帶來挑戰與機遇。
📝 詳細內容
話題一：GTC大會亮點及LPU晶片
- 黃仁勳GTC演講重點為算力AI成長路徑，從生成AI到推論AI及AI agent。
- LPU晶片是針對AI推論端需求設計，使用SRAM記憶體，強調低延遲高速運算。
- NVIDIA斥資200億美元取得Grog公司LPU技術授權。
話題二：Rubin世代與未來架構
- 展示了Rubin Ultra機櫃，以及搭配各種晶片的機櫃組合。
- 推出專門用於AI agent任務的CPU機櫃。
- 2028年將推出FEMA世代晶片，預計採用A16製程和die stacking技術，並可能導入SRAM記憶體。
- 討論了Kyber架構，包括Kyber 288、Kyber Ultra以及未來Scale Up的可能性。
話題三：供應鏈影響與觀察重點
- 晶片、封裝、主板材料、記憶體、散熱等供應鏈都將受到新技術的影響。
- 強調關注CPU技術的發展，以及NVIDIA未來在供應鏈上的布局。
- 提醒大家注意股價估值與風險。
💡 金句
"AI的發展已經進入了這個推論端的重要關鍵"
🔮 展望與預測
- NVIDIA將持續推出新晶片和架構，強化AI推論能力。
- LPU、CPS等新晶片將推動AI推論需求爆發，並帶動相關產業鏈的發展。
- 銅藍與光互聯將並存發展，客戶可根據自身需求選擇。
- 記憶體、封裝、散熱等供應鏈將面臨新的挑戰與機遇。
- 2025-2027年基礎算力設施市場需求預估將突破1兆美元。