每經(jīng)記者｜楊卉    每經(jīng)編輯｜魏官紅    

DeepSeek爆火后，算力成本終會降低成了行業(yè)共識。但選擇哪一路徑，是數(shù)據(jù)中心、一體機還是推理服務(wù)器，業(yè)內(nèi)尚未有統(tǒng)一的定論和參考模式。6月13日，在“2025紅帽媒體Open講”線下交流會上，紅帽全球副總裁兼大中華區(qū)總裁曹衡康告訴《每日經(jīng)濟新聞》記者，在紅帽看來，今年是AI（人工智能）的推理元年。AI進入了推理后，意味著所有的AI應(yīng)用將正式開始上線運行，并且為企業(yè)帶來業(yè)務(wù)收入以及內(nèi)部成本控制等實際效益。

紅帽大中華區(qū)方案架構(gòu)部總經(jīng)理王慧慧還透露，目前業(yè)界的推理技術(shù)棧里大概有兩個主流的技術(shù)方向，紅帽選擇的是其中一個——“vLLM”（一個高性能大語言模型推理框架‌，現(xiàn)已成為開源領(lǐng)域的事實標準推理服務(wù)器，支持多種加速器和分布式部署，廣泛應(yīng)用于生產(chǎn)環(huán)境）。

“這是目前最熱的一個推理社區(qū)。我們發(fā)現(xiàn)，來自中國的貢獻者占到這個社區(qū)35%的貢獻量。這也印證了也許推理在中國將會是最熱，也是第一個帶來企業(yè)價值的。”王慧慧提到，在做推理的過程中有兩個技術(shù)點較難克服：怎樣用最小的硬件設(shè)備、最小的成本完成最高性能推理；可不可以不把推理的工作量集中在單一臺服務(wù)器，而是分散到不同的服務(wù)器上，做一個分布式的推理引擎。

基于這一背景，紅帽在2025年推出了推理服務(wù)器。根據(jù)紅帽方面介紹，使用推理服務(wù)器的最大優(yōu)勢就是降低企業(yè)的算力成本。不過，該公司高管也在采訪中多次強調(diào)，紅帽不做硬件，只做軟件。

隨著未來算力成本的降低，行業(yè)對芯片算力卡的需求是否會有變化？曹衡康告訴《每日經(jīng)濟新聞》記者，在他看來，目前AI的應(yīng)用還不夠多。“畢竟用AI成本太高。假設(shè)今天（原本）有1000家企業(yè)用（AI），成本降低了會是1萬家、10萬家、100萬家企業(yè)用。GPU（圖形處理器）的量一定會起來的?，F(xiàn)在我們的做法就是讓門檻更低。”曹衡康稱。

封面圖片來源：視覺中國-VCG211322973159