邊緣AI將(jiāng)與雲端AI相互補充

我們認爲AI算力將(jiāng)綜合考慮硬件能(néng)力、成(chéng)空頻本等因素，在邊端和雲端靈活分配，簡單涵事紙蓋： 邊端AI小模型場景：本地藍友跑一些語音識别、圖像識别等算法複雜度比較低、文數對(duì)算力要求比較小的AI模型，同時(shí)也可以通過(guò短見)API調用雲端AI算力/應用來實現更加豐務電富的AI功能(néng)。邊端AI大模型多能場景：直接在邊緣側運行AI大模型。這(z不車hè)類場景我們認爲可能(néng)會(huì)率先在手機、PC、智能(n信快éng)駕駛、具身智能(néng)、元宇宙、工業控制等自身具備一定算力基礎的到麗場景落地。

大模型在邊緣端滲透的條件：模型壓縮+算力提升

大模型向(xiàng)邊緣端滲透，需要算法、硬件協同優化，很一模型壓縮和邊緣側計算性能(néng)提刀校升是兩(liǎng)大關鍵。 模型到冷壓縮：比如GPT-175B 模聽舊型約有 1750 億參數，以半精農議度（FP16）格式計算，至少占 320GB存儲空間。模型壓縮是大模型事湖向(xiàng)邊緣滲透的其中一個重很影要條件。計算性能(néng)提升：包括算力、顯存、功耗等多方面(miàn)的黑金硬件綜合能(néng)力。目前在這(zhè)兩(liǎ微新ng)個方向(xiàng)上，我們都(dōu)可以看有話到不錯的進(jìn)展預期，大模型在邊緣端滲透初見端倪。小了

算力：Transformer模型更加依賴大友美算力的支撐。參考壁仞科技數據，對(樹間duì)于40個字的文本序列，進(j吃得ìn)行一次Bert推理需要7Gflop技她s，由中文翻譯到英文的Seq2Seq模型需要 20 Gflops。标準版花內BERT模型參數量是3.4 億個參數。媽讀 顯存：以一個100億參數模型，FP16精度爲例，參數量需要20GB内存（10城林B*2Bytes），梯度需要20GB内存（10B*2Byte愛男s），優化器狀态需要40GB内存（10B*2Bytes*2），就自總計需要80GB内存。 功耗：随著(zhe)算力的提升，帶來功哥的耗提升，對(duì)于芯片的散熱要求將(jiāng)雜著明顯提升，同時(shí)不同場景對(duì)于設謝子備耗電量、待機時(shí)長(cháng外少)等也都(dōu)有不同要求。

當前進(jìn)展：手機、PC端已經(jīng)出現邊緣大新紙模型場景落地

手機：ChatGPT已推出IOS應用，安卓版後(hòu)續也會(huì)發(f笑區ā)布。高通在搭載第二代骁龍8移動平台的Androi兵城d智能(néng)手機上部署Stabl黃物e Diffusion（參數超10億個），在15秒内執行20步有靜推理，生成(chéng)一張512志日x512像素的圖像。 PC：微軟和高通、英特爾在AI領域展開(k街南āi)合作，部署推出搭載AI引擎的P作購C産品。具身智能(néng)：英偉達創始人黃仁勳表示AI下問朋一個浪潮將(jiāng)是“具身智能(néng)”，并且農吃公布了多模态具身人工智能(néng)系統N年木vidia VIMA。

三、産業鏈新增AI，強化算力與連接

邊緣計算産業鏈：新增AI，強化算力與連接

從産業鏈角度，邊緣AI核心在于引入邊緣側很討的AI能(néng)力，進(jìn)一步增強邊緣側的算力能(nén這科g)力、連接能(néng)力。重點包括AI芯片、算力模窗男組、邊緣網關/服務器/控制器等硬件風跳、AI算法/邊緣計算平台等軟件環節。

AI芯片是指專門用于處理人工智能(néng)應用中的大量計算任務的模塊，其他非路喝計算任務則更多仍由CPU負責。從技術架構來看，Al工機 芯片主要分爲 GPU、FPGA、ASI樹路C三大類。其中，GPU 是較爲成(chéng)熟的通用型人工智能(n厭嗎éng)芯片，FPGA 和 ASIC 則可信分别是針對(duì)人工智能(néng)需求特征的半定制和全定制芯片。 放們典型AI運算通常需要CPU或者ARM有麗内核來執行調度處理，大量的并行計算靠GPU、FPGA或跳間ASIC來完成(chéng)。

模組：标準化的模組形态可以有效滿足物聯黃他網碎片化需求

無線模組是物聯網中的連接器件，無線模組將(jiāng)芯片、存儲器湖看、功放器件等集成(chéng)在一房場塊線路闆上，實現無線電波收發(fā)、信道(dào)噪聲過(guò)濾及模拟為男信号與數字信号之間相互轉換，并提供标準接口的功能(n制長éng)模塊，終端借助無線模組可以實現通信或定位明懂。 物聯網的碎片化需求，基于芯片的開(kāi)發商文(fā)技術門檻高，客戶會(huì)選用标準的模組，直開頻接使用模組的标準硬件接口和嵌入式應用協議，不必關心底那劇層邏輯，隻要做好(hǎo)應用側适配。