字節(jié)旗下火山引擎披露自研芯片 牽手英偉達(dá)緩解視頻算力壓力

近日，字節(jié)跳動(dòng)旗下火山引擎視頻云宣布其自研的視頻編解碼芯片已成功出片。與具備通用計(jì)算能力的CPU芯片相比，該自研芯片僅支持視頻編解碼任務(wù)，在特定場(chǎng)景具備更高的計(jì)算密度。

另外，此次火山與NVIDIA的合作主要是通過(guò)NVIDIA GPU進(jìn)行算力方面的協(xié)調(diào)與調(diào)度，同時(shí)合作開源BMF（Babit MultiMedia Framework）多媒體處理框架，通過(guò)由CPU、GPU以及視頻編解碼專用芯片等組成的異構(gòu)計(jì)算資源底層，支撐上層，提升復(fù)用與效率，降低網(wǎng)絡(luò)視頻服務(wù)的計(jì)算、存儲(chǔ)及傳輸帶寬成本。

牽手英偉達(dá)GPU布局框架平臺(tái)

(相關(guān)資料圖)

在架構(gòu)關(guān)系上，BMF異構(gòu)層包括了CPU、CUDA、FPGA，以及字節(jié)此次自研的ASIC算力。再之上分別是包括視頻編解碼在內(nèi)的模塊層、框架層，以及應(yīng)用層。

視頻自研芯片與BMF框架的誕生基于當(dāng)下視頻化逐漸普及的趨勢(shì)。火山引擎總裁譚待表示，視頻數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)，應(yīng)用場(chǎng)景也在不斷拓展。初心資本合伙人許旸洋認(rèn)為視頻正吞食一切是當(dāng)下大的趨勢(shì)，而視頻化的形式將變得更加平民化，每個(gè)人都可以是視頻創(chuàng)作者，視頻大量出現(xiàn)倒逼底層技術(shù)升級(jí)。

NVIDIA開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬對(duì)記者表示，此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過(guò)去的視頻處理主要通過(guò)FFmpeg（一種命令行工具，用來(lái)對(duì)視頻文件轉(zhuǎn)換格式），后者方式主要包括調(diào)用C + + 的API，以及命令提示。但在視頻復(fù)雜實(shí)時(shí)交互的編輯需求下，F(xiàn)Fmpeg很難與現(xiàn)有AI應(yīng)用連接起來(lái)。目前該框架主要面向開發(fā)者群體，會(huì)令過(guò)去使用FFmpeg等AI框架進(jìn)行視頻處理的開發(fā)者受益，也利于更多的創(chuàng)新誕生。

談及此次與火山在BMF框架方面的合作，NVIDIA 高級(jí)計(jì)算專家王曉偉對(duì)記者表示，NVIDIA對(duì)框架進(jìn)行了深度改造，增強(qiáng)框架的GPU親和力，在框架層面提供更多的GPU加速能力，改進(jìn)了BMF對(duì)FFmpeg CUDA filter的支持，添加GPU數(shù)據(jù)格式轉(zhuǎn)換以及實(shí)現(xiàn)BMF與其他深度學(xué)習(xí)框架和SDK的數(shù)據(jù)兼容，這些特性可以方便開發(fā)者更快地在GPU上定制所需的BMF模塊，從而快速響應(yīng)業(yè)務(wù)需求，使用BMF搭建GPU流水線。

同時(shí)，NVIDIA還提供了許多精細(xì)優(yōu)化的BMF模塊，這些模塊可以做到開箱即用，并且作為示例向開發(fā)者展示如何高效地開發(fā) BMF GPU 模塊。如BMF中的人臉識(shí)別示例使用 NVIDIA TensorRT（一種高性能深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí)加速庫(kù)）對(duì)模型推理進(jìn)行加速，并且調(diào)用 CV-CUDA （NVIDIA開發(fā)的專用于構(gòu)建加速型端到端計(jì)算機(jī)視覺和圖像處理管道的開源項(xiàng)目）進(jìn)行模型后處理，完整地展示了如何在 GPU 上使用 BMF 開發(fā)一個(gè)CV流水線及相關(guān)GPU模塊。

王曉偉對(duì)記者表示，BMF能夠提供簡(jiǎn)潔易用的跨語(yǔ)言接口、靈活的調(diào)度和擴(kuò)展性，以模塊化的方式動(dòng)態(tài)擴(kuò)展、管理和復(fù)用視頻處理的原子能力；而現(xiàn)有的常用框架基本都存在著語(yǔ)言接口單一，調(diào)度擴(kuò)展不靈活以及開發(fā)門檻高等問題，限制了 AI 時(shí)代下業(yè)務(wù)場(chǎng)景的進(jìn)化。

通過(guò)硬件創(chuàng)新緩解算力瓶頸

此次火山并未具體透露自研視頻芯片的具體代工廠等信息，字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示，此次推出火山引擎自研視頻編碼芯片，可以使一臺(tái)芯片服務(wù)器的轉(zhuǎn)碼能力相當(dāng)于百臺(tái)CPU服務(wù)器的算力；壓縮效率比行業(yè)主流硬件編碼器提升30%+。據(jù)此將單個(gè)視頻的計(jì)算、存儲(chǔ)和傳輸?shù)倪呺H成本達(dá)到平衡。

另外，王悅表示，該芯片支持ASIC算力，是一種比較折中的算力資源，吞吐雖然差一些，但其優(yōu)勢(shì)是可擦寫、更靈活，能夠完成漸進(jìn)迭代，也為火山ASIC方案提供了先行驗(yàn)證。

目前火山視頻云的圖片和動(dòng)圖轉(zhuǎn)碼服務(wù)都跑在FPGA上，部分點(diǎn)播、直播服務(wù)里也在使用FPGA。此外，王悅表示，火山還有ARM板卡陣列，這個(gè)方案本來(lái)是用來(lái)支持云游戲、云手機(jī)等場(chǎng)景需求而研發(fā)的，火山把編轉(zhuǎn)碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后，經(jīng)過(guò)大規(guī)模實(shí)測(cè)發(fā)現(xiàn)這種算力資源在密度、成本方面相較X86服務(wù)器也有很大優(yōu)勢(shì)，因此也在點(diǎn)播場(chǎng)景里不斷提升這種資源的使用量，做到與云游戲等場(chǎng)景的并池降本。王悅稱目前最新一代板卡已經(jīng)支持開源大模型llama2。

對(duì)視頻芯片的自研投入早已在海內(nèi)外大廠內(nèi)進(jìn)行，2016年，時(shí)任谷歌云計(jì)算副總裁的帕塔·蘭加納坦（Partha Ranganathan ）向時(shí)任YouTube 副總裁 Scott Silver 申請(qǐng)視頻芯片項(xiàng)目。2021年，YouTube 披露自研視頻芯片Argos的進(jìn)展。今年，F(xiàn)acebook 母公司Meta首度公開了其自研 AI 芯片的進(jìn)展，可以支持其最近推出的廣告設(shè)計(jì)和創(chuàng)作工具的生成式 AI技術(shù)。

2022年，騰訊公布自研視頻轉(zhuǎn)碼芯片“滄海”于2022年3月5日流片。2022年8月，快手宣布研制出云端智能視頻處理SoC(System on Chip)芯片SL200。火山引擎方面人士對(duì)記者表示，不同平臺(tái)的視頻自研芯片適用于各自不同的業(yè)務(wù)場(chǎng)景，火山自研視頻芯片對(duì)內(nèi)主要服務(wù)于抖音業(yè)務(wù)。

火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅認(rèn)為，“視頻編碼每升級(jí)一代，質(zhì)量碼率減少50%，但大規(guī)模的視頻數(shù)據(jù)量增長(zhǎng)不止2倍，視頻編碼標(biāo)準(zhǔn)的迭代速度已經(jīng)追趕不上視頻數(shù)據(jù)量的增長(zhǎng)速度，必須通過(guò)硬件創(chuàng)新來(lái)突破算力瓶頸”。

標(biāo)簽：