英偉達cuda的優勢及挑戰

wangdizhe

ds對英偉達的挑戰，并不是簡單的“算法平權”。。還有開源對閉源的挑戰。。。如果只是了解ah100或者gb200這種東西，意義不大，英偉達的護城河主要是cuda。。

cuda的故事起步于2006年11月份發布的geforce8800gtx。。。19年前了，那是一個起點。。。。2007年6月份發布了nv的gpgpu，cuda出世。。這個跳躍是讓顯卡不僅能用在圖像繪制了，也能用在其他方面了

ai的本質，其實和btc的哈希算法類似，都是大量的數學計算。。。這也可以解釋為啥近10年金融越來越“數學化”，包括做對沖的幻方能弄出ds，也是因為它是最具“金融數學化底蘊的對沖私募”。。。

主要就是transformer那套，也就是比如從一維的向量到二維的矩陣。。然后再到三位或高位的張量。。核心不在于算的多難，而在于算的題量很大。。

gpu更像一個“事業部經理”，而cpu類似于一個“ceo”。。。it世界一開始，ceo比較重要 ，因為機會多多，需要面面俱到，就像80-90年代做生意，壓對方向很重要。。。但隨著時間發展，需要不斷“細分而深化”，尤其是顯卡計算部分，這部分其實初期是游戲推進的，但后期科學計算的需求上來了，把控機會需要更好的“項目經理”。。

Gpu內部有很多邏輯計算單位，每個單元基本上只做簡單的加減乘除，靠著分工協同完成龐大的計算任務。。。cuda就是gpu這個項目部經理手下的“調度總管”(類似于常務主管)。。比如計算張量這個活，就具體分派誰誰來做。。。也就是cuda的作用，其實就是“算力調度者”，它優化算法效率。。。

這個作用類似于斯隆對通用汽車的管理，也就是在具體的“算力事業部內”，cuda這個算力調度者，甚至有比肩整個事業部經理的實力。。。因為所謂的算力，amd也有，也就是經理不稀罕，調度總管那套管理方法，卻是稀缺的。。。

算力管理的優化，也是ds之所以引人矚目的地方，因為人們認為“算力調度工作”應該在cuda邏輯下優化。。。但沒想到ds，用了一些方法，似乎實現了更大的優化，人們好奇的就是它是如何實現的？以及優化算力之后，對于未來算力需求是不是降低？以及這對于“算力優化”世界，意味著什么？

cuda的好處，是如果研究者，只會ai模型的訓練及推理方法，而不會任務分類的話，也沒事，nv有cudnn程序庫，這樣玩ai的，只需要專注于訓練或推論就行了。。。因為模型中所有需要任務分類的地方，cudnn都會自動配置好。。。。。就是cuda不僅配合nv硬件可以發揮更高更快的算法優勢，而且也幫你做好了“算力分配套件”(也就是任務翻譯)，降低了項目開發的門檻，等于是一個特殊的“懶人包”。。。所以開發人員都喜歡用，然后20年過去了，用的人越來越多，產生生態影響力和開發依賴度。。。

未來英偉達還要推行量子計算，比如2023年就推出了cuda quantun平臺，這部分也是為未來布局。。其實邏輯核心依然是“并行計算”，也就是用多個處理單元，同時推進。。。計算量越大，越快，就越容易“大力超快出奇跡”。。。從一定程度上，可以理解cuda在gpu領域，是類似于x86在cpu領域的那種“專利優勢”。。。

cuda未來就沒有挑戰么？當然有的，大概4個維度

1、硬件挑戰

首先基本上，每個做cpu的，其實都看著做gpu的這么火眼饞。。。amd的mi300x使用cpu+gpu的異構結構，擁有192gbhbm3內存和5.3TB/s帶寬，直接對標英偉達的H100，價格基本是其三分之一。。。然后amd還通過ROCm平臺通過兼容CUDA代碼吸引開發者，弱化CUDA生態。。。英特爾雖然遇到困境，但有美國政府撐腰，也沒閑著，其GPU加速器結合了Xe架構和開放標準SYCL，通過OneAPI實現跨硬件(CPU/GPU/FPGA)統一編程，降低對CUDA的依賴。

然后就是科技巨頭的自研芯片，比如谷歌TPU通過專用張量核心和軟件棧在AI訓練中實現更高能效比。。。AWS的自研芯片直接與CUDA生態脫鉤，挑戰英偉達的云市場份額。

以及中國勢力的挑戰，主要就是華為昇騰、寒武紀等國產芯片在政策驅動下搶占本土市場，通過兼容PyTorch等框架繞過CUDA綁定。

最后是硬件架構方面的挑戰，尤其是RISC-V與開源硬件架構，比如Ventana的Veyron正在催生新的開源加速器架構，進一步分化CUDA的硬件依賴。

2、軟件挑戰

英偉達的閉源屬具，讓其必然引來開源的挑戰，ds事件其實就是代表之一。。。

首先就是開源編譯器的性能逼近，比如OpenAI Triton，支持Python編寫GPU內核，在NVIDIA GPU上性能接近CUDA，同時兼容AMD和英特爾硬件，成為CUDA的“平替”。。。再比如MLIR和LLVM生態，MLIR允許跨硬件優化，開發者可通過單一代碼庫生成CUDA、ROCm或SYCL后端，削弱CUDA的工具鏈壟斷。

然后就是AI框架的硬件抽象化:比如PyTorch 2.0與TorchDynamo，PyTorch通過編譯器技術自動優化計算圖，無需手動編寫CUDA內核即可實現高性能，降低開發者對CUDA的依賴。再比如JAX和XLA編譯器，谷歌JAX的自動并行化和XLA編譯技術可在TPU/GPU間無縫遷移代碼，形成獨立于CUDA的生態。

最后是跨平臺標準:比如Vulkan Compute和SYCL等開放標準支持多廠商硬件，未來可能擠壓CUDA的生存空間

3、cuda本身存在的技術瓶頸

內存墻與通信瓶頸:GPU顯存容量和帶寬增長放緩，而大模型訓練需要TB級內存，迫使開發者轉向分布式計算或多芯片方案，CUDA的單卡優化優勢被稀釋。 。。其次是NVLink和InfiniBand的私有協議面臨UCIe(通用芯粒互聯)等開放標準的競爭，可能削弱NVIDIA全棧技術的協同效應。

能效比挑戰: 隨著摩爾定律放緩，單純依靠制程升級提升算力的模式不可持續。CUDA需在稀疏計算、混合精度等算法層創新，但競爭對手通過架構革新實現更高能效。

量子計算與神經形態計算的長期威脅:量子計算在特定領域的突破可能分流HPC需求。。。神經形態芯片(如Intel Loihi)更適合脈沖神經網絡，這些新型計算范式與CUDA的SIMT模型不兼容。

4、市場及政策挑戰

地緣政治與供應鏈風險:美國對華高端GPU出口限制迫使中國廠商加速去CUDA化，華為昇騰的CANN和百度的PaddlePaddle正在逐漸強化替代性生態。。未來美國對從香港和新加坡渠道都會加強管理，對華ai芯片營收占到英偉達總量的20-25%，這部分如果管制加強，英偉達業績會受到影響。。。

云廠商的“去NVIDIA化”策略:AWS、Azure等云服務商通過自研芯片和多元化硬件方案降低對NVIDIA GPU的采購比例，CUDA在云端的統治力可能被削弱。

開發者社區的遷移成本降低:工具鏈可將CUDA代碼自動轉換為HIP(AMD)或SYCL(Intel)，遷移成本從“月級”降至“天級”，CUDA的生態鎖定效應減弱。

英偉達也不傻，早就看到了這些威脅，因此也在cuda護城河上做出應對， 大概做了4點應對:

1、強化全棧優勢:首先是軟硬件協同設計，通過Grace Hopper超級芯片通過NVLink-C2C實現CPU/GPU內存一致性，提升CUDA在異構計算中的競爭力。。。。然后是，CUDA-X生態擴展，集成更多加速庫，覆蓋量子計算和科學計算等新領域。

2、擁抱開放標準:有限支持開源編譯器，同時推動NVIDIA貢獻標準組織(如參與MLIR開發)，避免被邊緣化。

3、搶占新興場景:首先是重視“邊緣計算”，通過Jetson平臺和CUDA-on-ARM支持邊緣AI，應對ROS 2等機器人框架的異構計算需求。。。。然后是打造數字孿生與元宇宙，Omniverse平臺依賴CUDA實現實時物理仿真，構建新的技術護城河。

4、商業模式創新:打造CUDA-as-a-Service，通過NGC提供預訓練模型和優化容器，增加用戶粘性。

整體來看，由于20年技術積累，開發者的生態黏性，以及巨大的遷移成本。。。導致cuda護城河當下還比較強大，追的最快的就是amd，但至少3年內英偉達cuda還是優勢明顯。。。。但從seekingalpha等文章反饋來看，如果cuda被超越或者被追上。。。大概有2個臨界預警值:

1、技術臨界點:當競爭對手的硬件性能超越NVIDIA且軟件生態成熟度達到80%以上。

2、經濟臨界點:云廠商自研芯片成本低于采購NVIDIA GPU的30%。

所以要想投資互聯網或者芯片產業，需要對于技術趨勢有深度了解，閱讀大量的資料和文獻。。。對于“強科技成長”的估值尤其難，這也是巴菲特基本不碰強成長科技股的原因 。。。美股這么貴，我旁觀。。。先積累一些知識和資料，等回調時候方便下手。。

今日話題 雪球創作者中心

$納斯達克綜合指數$ $英偉達(NVDA)$ $AMD(AMD)$