加速智能汽車駛?cè)階GI時代，商湯絕影系列原生態(tài)大模型亮相2024北京車展

2024北京國際汽車展覽會(以下簡稱“2024北京車展”)近日隆重開幕，商湯絕影攜系列原生態(tài)大模型及相關(guān)產(chǎn)品矩陣首次亮相北京車展。

作為首個提出感知決策一體化自動駕駛通用模型的公司，商湯絕影在本屆車展上首次向公眾展示了面向量產(chǎn)的真·端到端自動駕駛解決方案UniAD(Unified Autonomous Driving)的道路測試表現(xiàn)，同時還帶來了以多模態(tài)場景大腦為核心的AI大模型座艙產(chǎn)品矩陣以及全新座艙3D交互演示，全景展示了通用人工智能(AGI)技術(shù)驅(qū)動的靈活自適應(yīng)、深度個性化、安全可信賴、有人文關(guān)懷的未來出行全新體驗。

商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛表示：“未來汽車智能化的競爭，本質(zhì)上是通用人工智能技術(shù)融合應(yīng)用的比拼。商湯絕影致力于成為加速智能汽車駛?cè)階GI時代的核心技術(shù)伙伴，給智能汽車產(chǎn)業(yè)帶來生產(chǎn)效率和交互體驗的雙重革新，將攜手合作伙伴提供通用人工智能技術(shù)驅(qū)動的智能汽車全新體驗，共同定義未來出行。”

(商湯絕影首次亮相北京車展)

像人一樣開車！真·端到端自動駕駛解決方案UniAD上車首秀

憑借前瞻的行業(yè)洞察和率先布局，商湯及其聯(lián)合實驗室在2022年底便提出了行業(yè)首個感知決策一體化自動駕駛通用模型UniAD，并在次年榮獲2023年國際計算機視覺與模式識別會議(CVPR)最佳論文，引領(lǐng)端到端自動駕駛的創(chuàng)新潮流。

此次在北京車展上，商湯絕影以UniAD自動駕駛解決方案令人驚艷的實車測試成果展現(xiàn)了中國端到端智駕的實力。在無高精地圖條件下，僅依靠視覺感知的實際道路測試成果。無論是復(fù)雜城市道路還是無中線的鄉(xiāng)村道路上，車輛能高效準(zhǔn)確地完成包括大角度左轉(zhuǎn)上橋、避讓占道車輛及施工區(qū)域、繞行跑步行人等一系列高難度操作，做到“像人一樣開車”。

(搭載UniAD方案的車輛可真正做到“像人一樣開車”)

今年年初，特斯拉開始向部分用戶推送FSD V12版本的端到端自動駕駛方案，業(yè)內(nèi)隨之出現(xiàn)了越來越多的“端到端”智駕方案，不過大部分端到端方案采用的是更容易落地的由感知和決策兩個模型組成的 “兩段式”架構(gòu)，兩個模型之間依然存在信息傳遞過濾或丟失的問題。而UniAD將感知、決策、規(guī)劃等模塊都整合到一個全棧Transformer端到端模型，實現(xiàn)感知決策一體化的真·端到端自動駕駛。

(UniAD真·端到端：感知決策一體化的通用模型)

當(dāng)前，行業(yè)需要真·端到端自動駕駛方案，因為基于規(guī)則的智駕方案的天花板已開始顯現(xiàn)。隨著城區(qū)成為智駕落地的主戰(zhàn)場，場景計算的復(fù)雜度呈指數(shù)級增長。大量的人力資源投入也只是增加有限的規(guī)則，無法應(yīng)對數(shù)量無限的復(fù)雜場景和長尾路況(corner case)。端到端技術(shù)的出現(xiàn)開辟了一條全新的道路，開始推動自動駕駛范式從鋪設(shè)大量人力轉(zhuǎn)變?yōu)槌掷m(xù)算力投入和高質(zhì)量數(shù)據(jù)輸入。

憑借商湯大裝置的豐沛算力、高質(zhì)量仿真數(shù)據(jù)和行業(yè)領(lǐng)先的模型性能，UniAD端到端方案有更高的能力上限，強大的學(xué)習(xí)和思考能力讓它能夠像人一樣開車；數(shù)據(jù)驅(qū)動的端到端模型泛化能力強、迭代效率快，可以幫助車企低成本快速開城；純視覺感知的無圖方案，進一步降低系統(tǒng)的軟硬件成本，助力智駕普及，實現(xiàn)全國都能開。

(新一代自動駕駛大模型DriveAGI：可感知、可交互、可信賴)

在端到端系統(tǒng)基礎(chǔ)上，商湯絕影還在本次車展期間前瞻介紹了新一代自動駕駛大模型DriveAGI，推動自動駕駛從數(shù)據(jù)驅(qū)動向認(rèn)知驅(qū)動的躍遷。依托多模態(tài)大模型強大的世界理解、推理能力、決策能力以及交互能力，DriveAGI將是目前最貼近人類思維模式、最能理解人類意圖并有最強解決駕駛困難場景能力的技術(shù)方案，向完全無人駕駛邁出重要一步。

敏銳洞察、深度思考、高效執(zhí)行“多模態(tài)場景大腦”，提供真正懂你的智能座艙

前不久上市的小米SU7將AI大模型帶進座艙，而商湯“日日新”大模型也全面助力小愛同學(xué)車載語音場景應(yīng)用。

4月23日，商湯科技發(fā)布全新升級的“日日新SenseNova 5.0”大模型。6000億參數(shù)的“日日新5.0”采用混合專家架構(gòu)(MOE)，具備更強的知識、數(shù)學(xué)、推理及代碼能力，成為國內(nèi)首個全面對標(biāo)甚至超越GPT-4 Turbo的大模型，多模態(tài)能力領(lǐng)先GPT-4V?；诙嗽平Y(jié)合的架構(gòu)，商湯端側(cè)大模型大幅超越同量級大模型，越級比肩7B、13B大模型，更適合車端部署。

基于多模態(tài)大模型、大語言模型、文生圖模型等能力組合，商湯絕影構(gòu)建了以多模態(tài)場景大腦為核心的一系列全景感知、主動關(guān)懷且富有創(chuàng)造力的大模型座艙產(chǎn)品。

商湯絕影正在打造的敏銳洞察、深度思考、高效執(zhí)行的多模態(tài)場景大腦，是助力智能汽車邁向AGI時代的核心產(chǎn)品之一。通過應(yīng)用場景和用戶需求驅(qū)動，多模態(tài)場景大腦讓智能汽車可以高效準(zhǔn)確地全景感知和深度理解用戶需求和周圍環(huán)境，并以場景大腦為核心打通不同應(yīng)用，將離散的單點功能聚合在一起，從而為用戶提供更多深度個性化的主動關(guān)懷和服務(wù)。

(多模態(tài)大模型可以準(zhǔn)確感知并識別車外信息)

基于地理位置推薦符合用戶喜好的餐廳、介紹用戶感興趣的外部自然景物，并進行優(yōu)質(zhì)景點推薦是絕影AI大模型座艙產(chǎn)品的基礎(chǔ)功能。憑借強大的多模態(tài)感知能力，搭載商湯絕影方案的車輛能夠準(zhǔn)確感知并識別車外的信息，包括周圍車輛的車型、標(biāo)志性建筑物等，以語音、圖片或者視頻等方式為艙內(nèi)人員提供更為準(zhǔn)確和全面的內(nèi)容，幫助用戶了解和掌握外部環(huán)境信息，打破座艙本身的限制，讓用戶享受更為自由無束縛的出行體驗。

此外，以多模態(tài)場景大腦為核心，商湯絕影還能提供更多基于汽車場景的AI大模型座艙產(chǎn)品。以商湯“大醫(yī)”醫(yī)療健康大模型為橋梁的“旅醫(yī)”，讓用戶在座艙內(nèi)就可以獲得專業(yè)及個性化的健康管理服務(wù)，讓出行更安心?；贏IGC大模型技術(shù)的“神筆”，可以把用戶簡單的繪畫線條轉(zhuǎn)變成具有美感的藝術(shù)作品，增添駕乘樂趣。

(“旅醫(yī)”讓用戶在座艙內(nèi)就可以獲得專業(yè)及個性化的健康管理服務(wù))

(“神筆”可以把用戶簡單的繪畫線條轉(zhuǎn)變成具有美感的藝術(shù)作品)

人機交互的創(chuàng)新也是驅(qū)動座艙體驗升維的重要因素，去年Apple Vision Pro的問世展現(xiàn)了3D交互的創(chuàng)新體驗和應(yīng)用潛力。商湯絕影憑借深厚的感知技術(shù)研發(fā)實力和高效的創(chuàng)新迭代效率，將3D Gaze高精視線交互和3D動態(tài)手勢交互這兩大全新座艙3D交互演示帶到現(xiàn)場，讓觀眾體驗到更符合人類直覺的艙內(nèi)交互方式，推動座艙交互向更安全、更便利的3D交互升維進化。

其中， 3D Gaze高精視線交互是商湯絕影全球首創(chuàng)的能夠通過視線定位與屏幕圖標(biāo)進行交互的智能座艙技術(shù)，讓用戶無需點按屏幕，通過眼神即可精準(zhǔn)控制中控圖標(biāo)，完成多種交互操作；3D 動態(tài)手勢交互是行業(yè)領(lǐng)先的支持動態(tài)手勢和手部微動作識別的智能座艙技術(shù)，用戶通過手勢“隔空”實現(xiàn)各類座艙精細(xì)化的交互，打破傳統(tǒng)按鍵和屏幕觸控方式的繁瑣和局限。

(商湯絕影3D Gaze高精視線交互：通過眼神即可精準(zhǔn)控制中控圖標(biāo))

面向未來，商湯絕影還在進一步探索艙駕融合，實現(xiàn)智能駕駛和智能座艙在硬件、軟件及應(yīng)用層面的全面融合，提升用戶體驗、降低系統(tǒng)成本，進一步打破艙內(nèi)外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，帶來更安全、更加全方位，更具人文關(guān)懷的新體驗。

率先完成四大技術(shù)基座布局，商湯絕影加速智能汽車駛?cè)階GI時代

未來一到兩年，智能汽車處在一個關(guān)鍵的時間節(jié)點，它與通用人工智能的深度融合將開啟一個全新的時代。沒有公司能在新時代單打獨斗成功，車企需要強有力的核心技術(shù)伙伴攜手共進，而商湯絕影正是行業(yè)稀缺的同時具備“算力+算法+量產(chǎn)經(jīng)驗”全棧技術(shù)領(lǐng)先的核心供應(yīng)商，是一匹應(yīng)勢而躍的千里馬，能夠助力合作伙伴在AGI時代持續(xù)領(lǐng)先。

AGI的突破掀起技術(shù)范式的革新，堅實的核心研發(fā)能力成為行業(yè)競爭的關(guān)鍵。依托商湯大裝置深厚的算力儲備、原生的汽車垂類大模型、領(lǐng)先的軟硬件架構(gòu)和全棧數(shù)據(jù)生產(chǎn)管線，商湯絕影率先構(gòu)建了四大技術(shù)基座，正在成長為加速智能汽車駛?cè)階GI時代的核心技術(shù)伙伴。

SenseCore商湯大裝置是行業(yè)領(lǐng)先的AI基礎(chǔ)設(shè)施，能夠以高達12,000 petaFLOPS的豐沛算力支持商湯絕影系列原生態(tài)大模型的高效迭代；商湯絕影為智能汽車前瞻構(gòu)建了UniAD、DriveAGI以及面向座艙的多模態(tài)場景大腦等系列原生態(tài)大模型，加速端到端自動駕駛和大模型在智能座艙場景的落地；端云協(xié)同和艙駕融合的創(chuàng)新軟硬件架構(gòu)，讓智能汽車降本增效、涌現(xiàn)創(chuàng)新功能；全棧的數(shù)據(jù)生產(chǎn)管線，實現(xiàn)大模型的高質(zhì)量訓(xùn)練。

(商湯大裝置支持商湯絕影系列原生態(tài)大模型高效迭代)

憑借四大AGI技術(shù)基座，商湯絕影將推動智能汽車加速擁抱通用人工智能時代，以端到端大模型解決智能駕駛規(guī)?；占半y題，以多模態(tài)場景大腦讓智能座艙告別傳統(tǒng)的單點功能開發(fā)模式，驅(qū)動行業(yè)生產(chǎn)效率革新，并打破艙內(nèi)外的界限和束縛，驅(qū)動人機交互體驗革新，提供靈活自適應(yīng)、深度個性化、安全可信賴、有人文關(guān)懷的未來出行全新體驗。

如今，商湯絕影已經(jīng)構(gòu)建了智能駕駛、智能座艙和AI云的多元AGI產(chǎn)品體系，正在加速推動原生態(tài)大模型產(chǎn)品在汽車智能化領(lǐng)域的全方位深度應(yīng)用，加速AGI融入汽車產(chǎn)業(yè)，與廣大車企合作共贏，開啟未來出行的新篇章。