2023-06-23 20:42:58 來源 : 贏家財富網
6月23日訊(編輯 若宇)高通近日發布AI白皮書稱,混合AI是AI的未來,將支持生成式AI應用開發者和提供商利用邊緣側終端的計算能力降低成本。混合AI架構或僅在終端側運行AI,能夠在全球范圍帶來高性能、個性化、隱私和安全等優勢。此外,混合AI架構可以根據模型和查詢需求的復雜度等因素,選擇不同方式在云端和終端側之間分配處理負載。
(圖源高通中國官方微公眾號)據高通混合AI白皮書,在混合AI場景中,邊緣大模型是云端大模型的感知器官,例如用戶對手機說話,自動語音識別(ASR)AI模型如Whisper在設備上轉換語音為文本,發送到云端,云端運行大模型,回發文本答案。
在進階版本中,設備AI更進一步保護隱私,承擔更多處理,提供更個性化的提示給云通過設備學習和個人數據,設備創建用戶個人形象,與調度程序協作,基于上下文提供更好的提示;例如,用戶要求手機預約和朋友在最愛餐廳吃飯,對簡單查詢,較小的大模型可在設備上運行無需云交互,如果用戶需要復雜息,則本地將需求轉化為提示發給云端大模型并返回詳細答案。
【資料圖】
高通指出,隨著強大的生成式AI模型不斷縮小,以及終端側處理能力的持續提升,混合AI的潛力將會進一步增長。參數超過10億的AI模型已經能夠在手機上運行,且性能和精度達到與云端相似的水平。不久的將來,擁有100億或更高參數的模型將能夠在終端上運行。混合AI策略適用于幾乎所有生成式AI應用和終端領域,對推動生成式AI規模化擴展,滿足全球企業與消費者需求至關重要。
中建投閻貴成等人6月15日研報表示,AIGC大模型及應用爆紅,拉動算力需求。在萬物互聯大部分場景中,云端處理存在時延較長、成本較高、并且涉及數據隱私等問題,邊緣AI算力的引入至關重要。我們認為未來AI算力將綜合考慮硬件能力、成本等因素,以混合AI的架構,在邊端和云端靈活分配。
據了解,混合AI指的其實是云端和設備端共同處理AI計算,借助設備端的即時感知、即時處理優勢,來填補云端AI在延遲方面的短板,同時還通過云端的超高算力,來彌補端側AI性能的缺憾。
高通中國區董事長孟樸表示,混合AI勢不可擋,助推AI規模化發展。在孟樸看來,從過去20年AI的發展,到最近大語言模型的發展、交互式AI的發展,所有這些都推動了整個產業的快速發展。可以看到,人們使用的電子設備,不論是手機,還是冰箱、彩電等,越來越多地實現了智能化和網聯化,所有這些終端產品都產生了大量的數據,而且都具備情景感知的特點。
據不完全整理,在混合AI領域有所布局或有所合作的A股上市公司包括江南化工、天準科技、首都在線和優刻得等,具體情況如下
江南化工持有北京光年無限科技有限公司12.91%股份,根據北京光年科技公司的介紹,“智娃”產品支持硬件系統耦合,即支持本地內容資源的調用、支持離在線混合AI計算架構(該架構可明顯提升AI響應時間等)。
天準科技是英偉達Jetson金牌合作伙伴,是Jetson在國內最大的NPN (NVIDIA Preferred Partner)合作伙伴;天準科技基于英偉達Jetson和地平線J5平臺面向AMR移動機器人、自動駕駛、智慧交通、智能制造等行業提供AI邊緣算力。
首都在線提供邊緣側的推理算力支持AIGC應用,針對GPU服務器的特殊性,自研了管理芯片及配套的管理系統,搭建了面向ChatGPT行業的泛渲染異構算力公有云平臺,新一代算力平臺可為ChatGPT類人工智能應用提供算力、算法、云渲染等技術服務,已為國內多家涉及人工智能類客戶提供服務。
優刻得是國內領先云服務提供商,根據客戶實際業務需求,可以為AI客戶提供CPU/GPU算力資源和服務,以公有云、混合云等不同模式滿足客戶的多樣化使用場景需求。
標簽: