人工智能革命的幕後英雄

投資者教育
Banner Img
March 13, 2024

在最近的一次採訪中,Nvidia的CEO黃仁勳將人工智能(AI)的崛起譽為新工業革命的序幕。在這場革命中,GPU晶片扮演著核心角色,憑借其強大的數據處理和計算能力,幫助各大企業實現複雜的計算任務。然而,GPU晶片要勝任這些高難度的計算任務,離不開強大存儲器的支持。因此,一種名為高帶寬存儲器的新型存儲技術應運而生,迅速崛起成為AI晶片的首選存儲器。為了穩定供應鏈,Nvidia甚至向供應商支付了數億美元的預付款,來確保HBM存儲器的充足供應,這足以體現HBM在AI晶片生產鏈中的重要地位。在本期的博盾市場觀察中,我們將對存儲器市場進行深入剖析,從發展歷程、市場結構到龍頭企業等多個維度,全面解讀該行業的未來發展潛力。

什麼是HBM?

高帶寬存儲器(High Bandwidth Memory,簡稱HBM)是專門為了解決高性能CPU/GPU對高帶寬需求而誕生的新一代存儲晶片。對於大多數普通消費者來說,在購買電腦或手機時,RAM這個詞經常映入眼簾。RAM(Random Access Memory)可以被視作處理器的短期記憶。它負責臨時存儲計算機正在運行的程序和進程的所有數據,確保處理器能夠迅速訪問這些數據以執行各種計算和操作。與人腦中的短期記憶類似,RAM中的信息只能暫時保留。一旦計算機關閉或重啟,RAM中的數據便會消失,因為它不像硬盤那樣具有長期存儲數據的能力。然而,RAM的存儲容量是有限的。當RAM空間被填滿時,處理器就需要從硬盤驅動器等其他存儲設備中讀取數據,以替換或擴展RAM中的舊數據。

因此,RAM的大小和速度對計算機的性能和多任務處理能力都有很大的影響。更大的RAM容量意味著可以容納更多的程序和數據,而更快的RAM則能加快數據傳輸速度,提高系統的響應速度。同樣,對於AI伺服器而言,RAM的數量和速度也直接影響著其數據處理能力。由於AI伺服器需要處理大量的數據,包括深度學習模型的訓練和推理等任務,因此充足的RAM對於加速數據流和算法處理速度至關重要。

在HBM晶片技術取得突破性進展之前,DRAM是最為廣泛使用的RAM技術,並佔據著全球存儲市場的主導地位,其市場份額約為56%。DRAM之所以廣受歡迎,主要得益於其大容量和適中的價格,且能夠滿足大部分計算機系統的基本存儲需求。因此,DRAM廣泛應用於各種電子設備中,無論是電腦、手機還是伺服器,都能看到它的身影。

A graph with blue and pink barsDescription automatically generated
2010-2024年DRAM和NAND存儲器市場收入,Omdia

然而,DRAM市場是一個高度周期性的市場,其價格主要受供需關係影響。例如,DRAM市場在2017年和2018年的收入均創下歷史新高,但在2019年由於需求增長停滯,DRAM年遭遇了歷史性的下滑周期。經過多年的激烈競爭,DRAM市場已逐漸形成了Samsung、SK Hynix和Micron三足鼎立的格局,這三家公司佔據的市場份額超過95%。

A pie chart with numbers and textDescription automatically generated
2023年DRAM市場份額,TrendForce

HBM通過採用3D堆疊技術,將多個DRAM芯片堆疊在一起,從而實現了更高容量,更大的存儲帶寬和更低的延遲,使其在與CPU及GPU協同工作時能夠顯著提高機器學習和計算性能。在AI應用當中,內存的帶寬是影響系統性能至關重要的因素。如果內存性能跟不上,對指令和數據的搬運寫入和讀出的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。而HBM的出現,有效地打破這一瓶頸,讓AI芯片的實際算力得到充分發揮,避免因存儲器因素導致的算力降低。因此,HBM在AI伺服器中备受青睐,成為其標配。然而,當前HBM的生產工藝複雜、技術高度先進,導致其平均售價至少是DRAM的三倍。

近年來,AI計算領域的快速增長帶動了HBM市場的繁榮。以Nvidia為例,其目前在售的最強大AI晶片H100在2024財年第三季度就售出了50萬台。這款GPU中集成了80GB的HBM3內存,具備每秒3.5 TB的數據讀寫能力。隨著AI處理器GPU性能的不斷提升,其對內存帶寬的需求也日益增長。例如,Nvidia計劃在2025年發布的X100 GPU晶片,其HBM的內存性能將是當前H100 GPU的5倍。因此,科技公司對生成式AI日益增長的需求以及對相關設備的持續投資將間接推動HBM市場的發展。據Goldman Sachs預測,2024年,HBM市場在2024年有望實現124%的同比增長,潛在市場總和將達到88億美元。

A graph of data on a white backgroundDescription automatically generated
Nvidia各代AI GPU的HBM容量,Citi Research/Nvidia

在市場份額方面,HBM市場與DRAM市場較為相似,目前主要由SK Hynix、Samsung和Micron佔據。作為Nvidia H100 GPU的獨家HBM供應商,SK Hynix在HBM市場中佔據領先地位,擁有54%的市場份額。然而,隨著各大廠商紛紛開始研發下一代HBM內存——HBM3E,Samsung和Micron等公司正努力追趕SK Hynix。2024年2月,Micron開始批量生產HBM3E內存,並宣布其產品將成為Nvidia下一代芯片H200 GPU的一部分。隨後,Samsung和SK Hynix也相繼宣布了它們設計的HBM3E產品。對於HBM生產商而言,若能成功獲得AI伺服器上游企業的獨家訂單,無疑將為他們的未來收入增長帶來巨大的推動力。

A graph of a pie chartDescription automatically generated
2023年HBM市場份額,Goldman Sachs

HBM的三大製造商

目前全球市面上最大的HBM儲存器製造商有三家,分別是SK Hynix,Samsung和Micron。 Samsung的業務多元,而 SK Hynix和Micron則專精於半導體供應。三家公司均高度重視這場決定未來的AI晶片競爭,力求超越其他競爭者。

SK Hynix創立於1983年,總部位於韓國,作為世界頂級半導體供應商之一,為全球眾多企業(如Nvidia,Microsoft等)提供DRAM、快閃存儲器(NAND)及CMOS圖像傳感器等產品。從其2023年的營收來看,DRAM貢獻最大,佔比63%,NAND佔比30%,這兩種產品帶來了 SK Hynix 90%以上的收入。隨著人工智慧、機器學習等技術的快速發展,對高速且大容量儲存器的需求也急劇增加。2023年,SK Hynix的HBM3銷量比去年增長了5倍,成為營收增長的主要推動力。作為HBM市場的先行者,SK Hynix的毛利率高於Samsung和Micron,並已經與Nvidia協調鎖定2025年的HBM供應量。SK Hynix 希望抓住HBM市場需求飆升的機遇,加大對晶片封裝業務的投入,今年將在韓國投資逾10億美元,來擴大生產和改善其晶片製造的最後步驟。過去一年內,SK Hynix的股票價格增長了96%,反映了投資者的熱情以及對公司發展前景的信心。

家喻戶曉的大集團Samsung在1938年由食品出口起家,之後不斷拓展不同業務,並在1977年成立了Samsung半導體。Samsung在DRAM上抓住了機會,連續五年在200mm晶圓上投入超過5億美元,在1993年超越東芝,成為全球DRAM市場的領導企業。直至2023年第三季度,Samsung的DRAM銷售額佔全球的38.9%,位列第一,SK Hynix和Micron位列第二第三,分別佔比34.3%和22.8%。然而,Samsung目前在AI晶片競爭中處於落後的位置,其中一項原因是其堅持使用名為「非導電性膠膜」(NCF)的晶片製程技術,這會導致一些生產問題。採用此技術生產的HBM3,良率為10%-20%。相較之下,SK Hynix率先導入「大規模回流模塑底部填充」(MUF)技術,來解決NCF的弱點,使得HBM3的生產良率達60%-70%。此外,與同業SK Hynix以及Micron不同的是,Samsung一直沒有和AI晶片領導者Nvidia達成任何新的HBM供應交易,側面顯示了Samsung在競爭中面臨著越來越大的壓力。Samsung於年初因調低對2023年四季度利潤的預測,引起了市場賣出,股價在幾日內下降約7%。Samsung在潛力巨大的AI晶片行業落後,也一定程度上挫敗了投資者的信心。Samsung的股價近期缺乏推動力,未能保持自去年9月以來的增長勢頭。

Micron科技公司於1978年成立,在1998年收購 Texas Instruments 全球儲存器業務,成為全球最大的儲存器生產商之一。和SK Hynix相似,DRAM和NAND是Micron的主要產品。Micron的2023年營收中,DRAM和NAND分別貢獻了71%和27%。Micron進軍HBM市場相對較晚,相關產品公開報導不多。2020年Micron開始提供HBM2產品,用於高性能顯卡,伺服器處理器產品。儘管Micron在HBM市場的佔比僅為約10%,Micron在今年2月26日宣布已開始量產HBM3E,早於原先在HBM領域跑在前頭的SK Hynix。根據報導,SK Hynix1月中旬結束開發,3月才開始量產HBM3E。同時,Micron正在加速推進HBM4的研發,預計2026年量產,其實力不容小覷。Micron的競爭優勢和發展勁頭吸引了投資者紛紛下注,其股票價格較一年前上升了80%。

總結

在生成式AI的浪潮中,HBM扮演著舉足輕重的角色。它通過提升數據傳輸速度,有效地解決了AI芯片發展中遇到的內存瓶頸問題。隨著AI在更多領域得到應用,並且處理更為複雜的任務和數據,芯片行業對內存的需求也將持續增長,尤其是在存儲容量和功耗控制方面的提升。隨著各大製造廠商在製造工藝和成本控制上的持續優化,HBM在未來不僅將推動AI計算能力的進一步提升,也將在更多領域得到廣泛應用,成為推動技術革新的重要力量。

免責聲明

  1. 本網站內容僅旨在向專業投資者(定義見《證券及期貨條例》(香港法例第571章)或者該條例下制定的規章)提供。

  2. 本網頁內之資料只可作為資訊的用途,並不構成提供服務的建議或報價。

  3. 本網頁內之所有資料不可視為專業或投資意見。因此,閣下應尋求獨立的專業意見。任何使用本網頁及其內容的風險由閣下自負。

  4. 本公司可隨時終止或更改本網頁所提供之資料,產品或服務,而毋須事先通知閣下。

  5. 非經取得作者授權,不得任意轉載或公開傳輸任何內網站之內容。