日前,由中國(guó)科學(xué)院、中國(guó)工程院等多名院士領(lǐng)銜的第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)芯片大會(huì)(CCF Chip 2024)在上海圓滿落幕。作為國(guó)內(nèi)存儲(chǔ)控制芯片領(lǐng)域領(lǐng)軍企業(yè),得一微電子CEO吳大畏先生發(fā)表特邀報(bào)告《存儲(chǔ)芯片在AI端側(cè)設(shè)備的前沿應(yīng)用與未來(lái)展望》,他和與會(huì)專家一道,深入探討AI終端部署的計(jì)算與功耗瓶頸,以及智能計(jì)算與新興存儲(chǔ)技術(shù)的融合,為存算技術(shù)發(fā)展提供前沿研究。
在AI時(shí)代,盡管HBM在內(nèi)存市場(chǎng)大行其道,但非揮發(fā)存儲(chǔ)如eNVM和傳統(tǒng)NAND Flash在AI時(shí)代正悄然變革,并在業(yè)界產(chǎn)生新的影響。吳大畏先生在演講中,探討了存儲(chǔ)芯片和AI端側(cè)設(shè)備未來(lái)應(yīng)用的方向,這些方向雖不一定都會(huì)成為未來(lái),但無(wú)疑具有引領(lǐng)市場(chǎng)的潛力,可能預(yù)示著真實(shí)的未來(lái)趨勢(shì)。
AI與端側(cè)設(shè)備相互依存、相互支撐
提及AI,必然涉及端側(cè)AI的應(yīng)用。吳大畏先生首先列舉了AI在端側(cè)應(yīng)用的六大主要設(shè)備:AI智能手機(jī)、AI PC、智能物聯(lián)網(wǎng)設(shè)備、智能汽車、健康監(jiān)測(cè)設(shè)備以及智能安防監(jiān)控,并指出AI應(yīng)用主要涵蓋智能家居(消費(fèi)領(lǐng)域)、智能制造(工業(yè)領(lǐng)域)以及智慧城市(工業(yè)及更廣泛的社會(huì)應(yīng)用領(lǐng)域)三大核心場(chǎng)景。這些多樣化的設(shè)備和場(chǎng)景組合共同構(gòu)成了豐富多彩的AI應(yīng)用場(chǎng)景。
在吳大畏先生看來(lái),未來(lái)AI應(yīng)如空氣般無(wú)處不在,深入每個(gè)使用環(huán)境,成為主動(dòng)而非被動(dòng)式存在。這意味著AI需落地端側(cè),實(shí)現(xiàn)潤(rùn)物細(xì)無(wú)聲的存在,讓用戶每天如呼吸空氣般感受不到其存在,卻又無(wú)處不在。因此AI落地端側(cè),除了對(duì)算力的要求外,還需考慮數(shù)據(jù)安全、高性能與低延時(shí)、用戶體量和黏度、優(yōu)異的成本效益等。而端側(cè)設(shè)備對(duì)AI也有需求,包括多模態(tài)信息的輸入輸出能力、本地決策能力和精準(zhǔn)的個(gè)性化體驗(yàn)等,AI與端側(cè)設(shè)備兩者相互依存,相互發(fā)展。
接著,吳大畏先生還深入探討了非揮發(fā)存儲(chǔ)與AI結(jié)合的多層次演進(jìn)方式。他指出,非揮發(fā)存儲(chǔ)自身的演進(jìn)將追求更高性能、吞吐率、并發(fā)性、安全性和容量,以及針對(duì)AI應(yīng)用的優(yōu)化;此外,非揮發(fā)存儲(chǔ)和計(jì)算系統(tǒng)的接口演進(jìn),在不同應(yīng)用中也將呈現(xiàn)多樣化發(fā)展路徑。嵌入式存儲(chǔ)如手機(jī)可能會(huì)沿UFS3.0、UFS4.0等路徑升級(jí)。在PC領(lǐng)域則向PCIe Gen5、Gen6、Gen7發(fā)展,互聯(lián)可能向CXL方向演進(jìn),并有望從企業(yè)級(jí)擴(kuò)展到消費(fèi)電子端側(cè)。最后,存儲(chǔ)互聯(lián)和計(jì)算的整生態(tài)優(yōu)化,最終達(dá)到性能提高、功耗降低、成本降低的目標(biāo)。未來(lái)系統(tǒng)同時(shí)實(shí)現(xiàn)這三點(diǎn),關(guān)鍵在于優(yōu)化算力、存力和數(shù)據(jù)傳輸?shù)木o致分配。
隨著AI產(chǎn)業(yè)的發(fā)展,端側(cè)設(shè)備可能需要承載更多增長(zhǎng)訓(xùn)練,以及驗(yàn)證、推理等后續(xù)工作,端側(cè)將逐漸支持相關(guān)生態(tài)和應(yīng)用的發(fā)展。根據(jù)微軟和摩根士丹利等機(jī)構(gòu)的預(yù)測(cè),到2024年底,AI PC銷售量有望達(dá)到5000萬(wàn)臺(tái),占PC市場(chǎng)的20%左右;全球新一代AI手機(jī)出貨量將達(dá)1.7億部,占智能手機(jī)出貨量的15%左右。到2028年,AI PC滲透率預(yù)計(jì)將達(dá)到64%,AI手機(jī)市場(chǎng)份額將達(dá)到54%。從產(chǎn)業(yè)鏈發(fā)展的角度來(lái)說(shuō),這個(gè)增長(zhǎng)速度無(wú)疑是令人矚目的。
在此基礎(chǔ)上,吳大畏先生進(jìn)一步從AI手機(jī)、AI PC、智能汽車、AI存儲(chǔ)等場(chǎng)景出發(fā),分享了他的深入見(jiàn)解和展望。
存儲(chǔ)應(yīng)對(duì)AI智能手機(jī)的挑戰(zhàn)
面對(duì)AI智能手機(jī)挑戰(zhàn),關(guān)鍵在于實(shí)現(xiàn)手機(jī)端側(cè)AI應(yīng)用的高效運(yùn)行。手機(jī)端側(cè)的AI應(yīng)用對(duì)算力和DRAM提出了更高要求。鑒于DRAM在端側(cè)成本中的高占比,若采用高算力GPU配合大容量DRAM,可能會(huì)導(dǎo)致成本顯著上升。為解決這一問(wèn)題,關(guān)鍵在于將非揮發(fā)存儲(chǔ)與DRAM、GPU、NPU、APU、TPU、CPU等組件進(jìn)行有機(jī)結(jié)合,在成本與性能之間找到平衡點(diǎn),并有望在未來(lái)實(shí)現(xiàn)手機(jī)端的增長(zhǎng)訓(xùn)練。同時(shí),這種結(jié)合方式還能最大限度地保護(hù)用戶隱私,并確保系統(tǒng)能夠?qū)崟r(shí)響應(yīng)用戶的個(gè)性化需求。
如若像蘋果公司在其藍(lán)圖中所規(guī)劃的那樣,將AI智能手機(jī)演變?yōu)閭€(gè)人工作、生活小助理,則需解決在內(nèi)存有限的情況下如何訓(xùn)練和應(yīng)用大型模型的問(wèn)題。這通常涉及將非揮發(fā)存儲(chǔ)與內(nèi)存進(jìn)行組合使用,同時(shí)還需要進(jìn)行模型壓縮、存儲(chǔ)結(jié)構(gòu)優(yōu)化以及算法本身的優(yōu)化。
AI PC從被動(dòng)式存儲(chǔ)轉(zhuǎn)變?yōu)橹鲃?dòng)式存儲(chǔ)
接著吳大畏先生探討了AI PC端側(cè)的存儲(chǔ)需求。AI PC是具備全模態(tài)人機(jī)自然交互條件,承載最多場(chǎng)景的個(gè)人通用設(shè)備,是最強(qiáng)的個(gè)人計(jì)算平臺(tái),同時(shí)也是存儲(chǔ)容量最大、最受信賴的安全終端。
吳大畏先生分享了關(guān)于AI PC集成帶推理能力SSD的看法,即近存計(jì)算應(yīng)用。每個(gè)存儲(chǔ)控制芯片內(nèi)實(shí)際含大量算力,可為算力基礎(chǔ)設(shè)施提供支撐。若生態(tài)得到優(yōu)化,模型數(shù)據(jù)和計(jì)算不需內(nèi)存重新加載,數(shù)據(jù)傳輸?shù)男阅軐⒋蠓岣?,功耗降低,?duì)上層CPU算力要求也會(huì)降低。
展望未來(lái),手機(jī)和PC將包含增量訓(xùn)練和推理,存儲(chǔ)需分層以控制成本。雖然全用SLC對(duì)系統(tǒng)和個(gè)人體驗(yàn)最佳,但價(jià)格高昂。產(chǎn)業(yè)界需解決提供最高性價(jià)比方案的問(wèn)題,由此提出了存儲(chǔ)介質(zhì)分層方案。從當(dāng)前來(lái)看,分層包括HBM、DIMM、CXL、SLC SSD、普通SSD、QLC SSD、機(jī)械硬盤等。未來(lái),這些存儲(chǔ)層次將更廣泛地應(yīng)用于家庭和個(gè)人場(chǎng)景。
CXL存儲(chǔ)助力車端AI應(yīng)用
車端作為AI典型的應(yīng)用場(chǎng)景,愈來(lái)愈多的矛盾點(diǎn)逐漸顯現(xiàn)。一方面,在智能汽車內(nèi)卷嚴(yán)重的今天,汽車BOM(物料清單)成本受到了嚴(yán)格限制;另一方面,汽車智能時(shí)代對(duì)存儲(chǔ)設(shè)備的性能、及時(shí)性、可靠性、服務(wù)性QoS等要求極高,導(dǎo)致矛盾愈發(fā)凸顯。某些應(yīng)用初始版本功能單一、效率高,但隨著功能不斷增多,逐漸變慢且占用更多算力。車廠雖會(huì)在初始階段為每個(gè)應(yīng)用分配一定的CPU算力份額,但難以持續(xù)維持這種分配,關(guān)鍵應(yīng)用的算力無(wú)法得到保證。
面對(duì)這一問(wèn)題,吳大畏先生認(rèn)為融合了CXL技術(shù)的存算一體、存算的極致分配與互聯(lián)的解決方案將是破解之道。在嵌入式行業(yè)場(chǎng)景中,存算一體和近存計(jì)算將會(huì)得到首先應(yīng)用。以數(shù)據(jù)庫(kù)存儲(chǔ)方案在車端AI的應(yīng)用為例,如果車廠僅僅通過(guò)更換算力更高的CPU來(lái)解決問(wèn)題,那將導(dǎo)致成本過(guò)高。因此,合理的方案在于如何實(shí)現(xiàn)緊致的算力分配,在存儲(chǔ)端分擔(dān)部分?jǐn)?shù)據(jù)庫(kù)算力,以優(yōu)化CPU的算力分配。
總結(jié)
吳大畏先生的演講不僅為存算技術(shù)發(fā)展提供了前沿的研究方向,還為行業(yè)帶來(lái)了寶貴的思考和啟示。在演講尾聲,吳大畏先生揭示了得一微電子對(duì)于手機(jī)、PC、汽車端等主流存儲(chǔ)領(lǐng)域的未來(lái)布局。憑借最全面的存儲(chǔ)控制產(chǎn)品線和IP組合,得一微電子正在加速推進(jìn)UFS4.0、PCIe 5.0、CXL等前沿產(chǎn)品和技術(shù)的研發(fā),將為更多行業(yè)和應(yīng)用場(chǎng)景帶來(lái)創(chuàng)新性的存儲(chǔ)解決方案。
得一微電子致力于成為存儲(chǔ)控制、存算一體、存算互聯(lián)領(lǐng)域技術(shù)領(lǐng)先的芯片設(shè)計(jì)公司,為消費(fèi)級(jí)、企業(yè)級(jí)、工業(yè)級(jí)、車規(guī)級(jí)等市場(chǎng)的全場(chǎng)景應(yīng)用提供貼身定制的解決方案和服務(wù)。通過(guò)不斷創(chuàng)新的技術(shù),為中國(guó)新興存儲(chǔ)器在消費(fèi)電子和AI端側(cè)應(yīng)用帶來(lái)高性價(jià)比的解決方案,進(jìn)一步推動(dòng)存算技術(shù)的發(fā)展和進(jìn)步,助力行業(yè)實(shí)現(xiàn)更多的創(chuàng)新和突破。