【太平洋汽車(chē) 行業(yè)頻道】4月12日，蔚來(lái)NOMI GPT大模型正式上線，一周之內(nèi)將同步推送給搭載Banyan·榕 蔚來(lái)智能系統(tǒng)的車(chē)型。據(jù)官方介紹，此次NOMI升級(jí)了基于全新技術(shù)架構(gòu)，為NOMI量身打造NOMI GPT端云多模態(tài)大模型，包含自研多模態(tài)感知、自研認(rèn)知中樞、情感引擎、多專(zhuān)家Agent，能夠?qū)崿F(xiàn)蔚來(lái)產(chǎn)品、服務(wù)、社區(qū)的全域貫通，提供更高效、愉悅的AI服務(wù)。

　　而升級(jí)NOMI GPT功能后，用戶(hù)可以體驗(yàn)到大模型百科、無(wú)限趣聊、魔法氛圍、趣玩表情、用車(chē)問(wèn)答、AI場(chǎng)景生成在內(nèi)的多項(xiàng)全新交互體驗(yàn)，享受智能AI賦能下的全新出行。

　　其中大模型百科包含百科問(wèn)答、出行攻略和學(xué)習(xí)創(chuàng)作三大功能；

　　無(wú)限趣聊包括情感聊天、音樂(lè)影視、語(yǔ)言游戲三大功能；

　　魔法氛圍包括場(chǎng)景氛圍、心情氛圍和世界氛圍三大功能；

　　趣玩表情包括精準(zhǔn)表情、驚喜表情和九連拍三大功能；

　　用車(chē)問(wèn)答包括車(chē)輛信息查詢(xún)、用車(chē)知識(shí)查詢(xún)和指示燈查詢(xún)?nèi)蠊δ埽?/strong>

　　AI場(chǎng)景城市包括行車(chē)顧問(wèn)、氛圍營(yíng)造、空間舒適和場(chǎng)景推薦四大功能。

　　而NOMI換新升級(jí)后的三大技術(shù)架構(gòu)分別為是NOMI GPT認(rèn)知中樞、行業(yè)獨(dú)有的情感引擎和行業(yè)領(lǐng)先的端側(cè)多模態(tài)感知，在配合數(shù)十億級(jí)的參數(shù)模型、毫秒級(jí)的響應(yīng)速度，賦予了NOMI在感知、認(rèn)知、決策等方面強(qiáng)大的復(fù)雜邏輯推理能力，具備了能與用戶(hù)進(jìn)行開(kāi)放式問(wèn)答的交互能力。

　　具體來(lái)看，其中NOMI GPT認(rèn)知中樞，擁有極為高效的信息認(rèn)知能力，能在海量信息源中精準(zhǔn)判斷用戶(hù)意圖與需求，無(wú)縫調(diào)度大模型架構(gòu)內(nèi)組件，實(shí)現(xiàn)“領(lǐng)會(huì)用戶(hù)意圖有默契，執(zhí)行夠聰明，靈活不打擾”的優(yōu)質(zhì)用車(chē)體驗(yàn)。

　　同時(shí)，蔚來(lái)自研的端云一體認(rèn)知中樞，集成了行業(yè)最全知識(shí)庫(kù)，包括中控分發(fā)，多模拒識(shí)，跨域繼承&跳轉(zhuǎn)，多Agent決策幾個(gè)部分，讓NOMI有了對(duì)復(fù)雜任務(wù)的處理能力，能夠?qū)Ω兄降男畔⑦M(jìn)行推理分析，從容調(diào)度執(zhí)行各種任務(wù)，回答各種問(wèn)題。

　　通過(guò)認(rèn)知中樞，NOMI會(huì)根據(jù)你所說(shuō)的內(nèi)容，結(jié)合對(duì)話上下文、感知以及狀態(tài)信息，智能地判斷調(diào)用任務(wù)型交互、問(wèn)答閑聊、用車(chē)助手等，同時(shí)也能支持語(yǔ)義創(chuàng)建完整的快捷場(chǎng)景。

　　而情感引擎則是NOMI實(shí)現(xiàn)擬人交互的關(guān)鍵，它通過(guò)與用戶(hù)長(zhǎng)期的溝通與陪伴、記憶、學(xué)習(xí)，實(shí)現(xiàn)有個(gè)性的成長(zhǎng)。并且NOMI的記憶能力包括短期記憶和長(zhǎng)期記憶，短期記憶可以用戶(hù)近期感興趣的話題、提到人和物，長(zhǎng)期記憶能夠記住用戶(hù)及家人朋友，記住每一個(gè)人的喜好。

　　在情感引擎的幫助下，NOMI可以更快的學(xué)習(xí)成長(zhǎng)，通過(guò)實(shí)時(shí)反饋、事后反思、人為訓(xùn)練等方式，不斷變得更加聰明，不斷掌握新技能和新知識(shí)。并且會(huì)逐步發(fā)展成和用戶(hù)性格相契合的“人設(shè)”，包括性格、三觀、夢(mèng)想等。和NOMI的每一句對(duì)話、每一個(gè)表情，更自然、更有溫度，隨著陪伴時(shí)間的增長(zhǎng)，NOMI也會(huì)潛移默化地和用戶(hù)的性格更加契合。

　　最后是端側(cè)多模態(tài)感知能力，車(chē)機(jī)聯(lián)網(wǎng)不再是用戶(hù)使用NOMI的必須條件，NOMI也將具備“看得見(jiàn)，認(rèn)得出”“聽(tīng)得到，聽(tīng)得懂”“知冷熱，有觸感”等能力，做到賬號(hào)隔離，敏感信息不出車(chē)，車(chē)載通信端到端加密，保障用戶(hù)隱私安全的同時(shí)也讓車(chē)載人工智能的感知能力得到了極大的擴(kuò)展。

　　除了可以實(shí)現(xiàn)端側(cè)獨(dú)立運(yùn)行之外，融合了圖像（視覺(jué)）、音頻（聽(tīng)覺(jué)）、車(chē)身傳感器（觸覺(jué)）等多模感知的NOMI可以像人類(lèi)一樣，獲得了更全面的感知座艙內(nèi)外的人與事物的能力，并將多維度感知獲得的數(shù)十億參數(shù)，用自然語(yǔ)言進(jìn)行描述。

　　基于多模態(tài)感知的能力，NOMI現(xiàn)在可以像朋友一樣，看見(jiàn)你的物品、著裝、狀態(tài)，甚至艙外的車(chē)輛、樓宇、動(dòng)物植物，并提供更懂你的服務(wù)、更有趣的溝通。

　　另外，端側(cè)多模態(tài)感知還在內(nèi)部測(cè)試中，預(yù)計(jì)今年內(nèi)面向蔚來(lái)車(chē)型推送。（文：太平洋汽車(chē) 吳啟星）