AI大模型生態(tài)正在縱深演化，純文本形式的交互已經(jīng)不能滿足這個(gè)世界對(duì)于智能感知的全部需求，同時(shí)還需要結(jié)合音頻、視覺、圖片等形式，于是AI企業(yè)紛紛奔赴多模態(tài)。
　　先是OpenAI在近期發(fā)布了第三代文生圖大模型DALL·E 3，可以在ChatGPT上加載使用；緊隨其后，Meta推出了多模態(tài)編碼器集合AnyMAL。
　　一系列重磅產(chǎn)品的推出使得多模態(tài)的討論熱度陡然上升。視線轉(zhuǎn)回國(guó)內(nèi)，逐鹿大模型的互聯(lián)網(wǎng)巨頭及AI科技公司亦在加緊開發(fā)更多的多模態(tài)應(yīng)用，進(jìn)一步釋放AIGC生產(chǎn)力。
　　大模型生態(tài)進(jìn)入下半場(chǎng)
　　正如業(yè)內(nèi)流傳的名言，“所有行業(yè)都值得用AI重做一遍?！痹诖竽Ｐ蛯?duì)各行各業(yè)進(jìn)行顛覆性重構(gòu)的路上，面對(duì)不同場(chǎng)景的交互需求，除了傳統(tǒng)的文本之外，還需要云服務(wù)廠商將其模態(tài)應(yīng)用向圖片、語(yǔ)音、視頻、代碼等形式轉(zhuǎn)化。
　　但是這個(gè)過程絕非易事，看似簡(jiǎn)單的交互背后其實(shí)是多個(gè)AI能力的綜合體現(xiàn)，既要能夠識(shí)別用戶需求、理解音頻視頻內(nèi)容，還要轉(zhuǎn)化為用戶可以接受的形式，并給出有效反饋。
　　這其中，一大難題在于每種模態(tài)都具有特定的特征提取和分析方法，這便需要?jiǎng)?chuàng)新算法和技術(shù)來處理不同模態(tài)間的數(shù)據(jù)。以視頻形態(tài)來說，市面上一直缺乏良好的方法對(duì)于視頻場(chǎng)景做出充分理解，所以很多產(chǎn)品都只能按照某種固定邏輯生成，無法真正理解視頻元素的含義。
　　在近期微軟與OpenAI關(guān)于ChatGPT5的交流會(huì)中就談到，OpenAI將攻克的一大目標(biāo)是通過對(duì)于算法底層邏輯的融合、創(chuàng)新，讓大模型能夠充分理解視頻內(nèi)容以及各角色主體之間的關(guān)聯(lián)，從而能夠按照特定語(yǔ)境生成深層次的視頻內(nèi)容。
　　再以音頻形態(tài)而言，不同于視頻重在對(duì)于多維信息的把握，音頻交互更為強(qiáng)調(diào)對(duì)情感、意圖的充分掌握，由此對(duì)于語(yǔ)音識(shí)別技術(shù)便提出了更高要求，即要充分捕獲情感、音色甚至是方言，從中準(zhǔn)確地抓取關(guān)鍵信息。
　　在音頻-文本的交互領(lǐng)域，國(guó)內(nèi)走在前沿的是百融云創(chuàng)，該公司自研的智能語(yǔ)音機(jī)器人ChatBOT基于Transformer架構(gòu)搭建算法模型，對(duì)于語(yǔ)音識(shí)別的準(zhǔn)確率可以達(dá)到99%以上，實(shí)現(xiàn)“真人級(jí)”互動(dòng)體驗(yàn)。同時(shí)，ChatBOT又不僅僅是聊天機(jī)器人，而是一個(gè)幫助實(shí)現(xiàn)端到端結(jié)果交付的智能體。ChatBOT直接關(guān)聯(lián)商業(yè)機(jī)構(gòu)KPI，可以助力商業(yè)機(jī)構(gòu)實(shí)現(xiàn)資產(chǎn)運(yùn)營(yíng)和用戶煥活流程的自動(dòng)化。
　　而除了算法層面外，百融云創(chuàng)相關(guān)人士表示，多模態(tài)的智能交互對(duì)于模型的工程架構(gòu)、響應(yīng)速度、資源配置等均提出了更高要求，以文本-語(yǔ)音交互為例，需要依托深刻的行業(yè)理解來沉淀出高質(zhì)量配對(duì)的語(yǔ)料，才能實(shí)現(xiàn)流暢、準(zhǔn)確的用戶交互。
　　大模型能力正在加速革新
　　從趨勢(shì)上看，隨著大模型進(jìn)入拼落地、拼應(yīng)用的下半場(chǎng)，為了讓AI技術(shù)更加融入千行百業(yè)，多模態(tài)領(lǐng)域勢(shì)必會(huì)以更快的速度發(fā)展。
　　目前來看，多模態(tài)的主流構(gòu)建思路并不是重新訓(xùn)練一個(gè)大模型，而是在已經(jīng)訓(xùn)練好的大語(yǔ)言模型中“嵌入”圖像理解、語(yǔ)音識(shí)別等技術(shù)，也就是通過引入多模態(tài)的數(shù)據(jù)集來攻克跨領(lǐng)域的技術(shù)難點(diǎn)。例如，百融云創(chuàng)的產(chǎn)業(yè)大模型——BR-LLM便結(jié)合了NLP（自然語(yǔ)言處理）、智能語(yǔ)音等技術(shù)。
　　當(dāng)然，也不乏一些科技公司嘗試基于特定需求直接訓(xùn)練多模態(tài)基礎(chǔ)模型。根據(jù)微軟研究團(tuán)隊(duì)近期在預(yù)印本平臺(tái) arXiv 上發(fā)布的一篇文章，多模態(tài)基礎(chǔ)模型將沿著預(yù)訓(xùn)練視覺模型和通用型助手兩條路線拓展。文章同時(shí)表示，訓(xùn)練多模態(tài)基礎(chǔ)模型面臨若干挑戰(zhàn)，例如，視覺理解模型方面，不同類型的標(biāo)簽注釋成本差異較大，昂貴的圖像成本可能會(huì)限制視覺數(shù)據(jù)規(guī)模。
　　但不論采取怎樣的方式，毫無疑問大模型生態(tài)下半場(chǎng)已經(jīng)打開。業(yè)內(nèi)人士認(rèn)為，隨著模型能力的增強(qiáng)，AI應(yīng)用范圍將不再局限于單一功能或者單個(gè)產(chǎn)品，而是會(huì)擴(kuò)圍到更廣闊的應(yīng)用場(chǎng)景。在這樣的背景下，能否快速、高效地將技術(shù)產(chǎn)品化，料成為決勝未來的關(guān)鍵因素。
　　百融云創(chuàng)相關(guān)人士表示，為了更好發(fā)揮BR-LLM的潛能，該公司基于大模型技術(shù)底座，持續(xù)推行產(chǎn)品革新。此前，為了讓AI技術(shù)更加深入賦能垂直場(chǎng)景，百融云創(chuàng)優(yōu)化原有機(jī)器學(xué)習(xí)平臺(tái)ORCA，將其與生成式AI理念緊密結(jié)合，形成的全新產(chǎn)品ORCA-GPT可以利用BR-LLM的代碼生成能力，極大地降低模型產(chǎn)品開發(fā)部署的周期和成本。
　　同時(shí)，伴隨著與多模態(tài)發(fā)展相關(guān)的全新研究方向——“AI for Science”（AI輔助研發(fā)）逐漸嶄露頭角，百融云創(chuàng)率先捕捉到這一趨勢(shì)，依托BR-LLM基座，于近期推出了一款全新智能代碼生成助手——BRCoder。
　　據(jù)了解，作為一款通用的編程大模型，BRCoder以公司內(nèi)部本地部署的代碼生成大模型為核心，基于海量的優(yōu)質(zhì)代碼預(yù)訓(xùn)練，可以根據(jù)提示結(jié)合當(dāng)前編輯程序文件的上下文信息，自動(dòng)生成代碼，并配合IDE插件提升開發(fā)效率。
　　“BR-Coder將極大地提升程序員的開發(fā)效率，助力商業(yè)機(jī)構(gòu)研發(fā)提質(zhì)增效?！卑偃谠苿?chuàng)相關(guān)人士稱，BR-Coder不僅能生成研發(fā)代碼，還可以用于自動(dòng)生成測(cè)試用例和單元測(cè)試、解答技術(shù)問題，在保障企業(yè)數(shù)據(jù)資產(chǎn)安全的同時(shí)，提升模型生成代碼的一次采用率。展望后續(xù)，BR-Coder會(huì)進(jìn)一步增強(qiáng)與編譯環(huán)境的交互，為開發(fā)者提供更為全面和便捷的編程體驗(yàn)。