2024年1月19日,在大數(shù)據(jù)模型日益成為社會(huì)熱潮的當(dāng)下,大模型開啟數(shù)智安防新時(shí)代——第十屆智慧城市建設(shè)創(chuàng)新發(fā)展大會(huì)暨深圳市智慧安防品牌推介會(huì)在深圳圓滿舉辦。華為技術(shù)有限公司光產(chǎn)品線首席AI算法專家吳奇彬現(xiàn)場(chǎng)分享了“AI大模型+多維感知,賦能城市數(shù)智管理”主題演講。
以下是吳奇彬現(xiàn)場(chǎng)演講實(shí)錄,部分內(nèi)容智慧安防網(wǎng)做了不改變?cè)獾男薷摹?
尊敬的各位領(lǐng)導(dǎo)、各位來(lái)賓,大家上午好!今天我代表華為公司,和大家分享我們?cè)贏I大模型時(shí)代以及多維感知時(shí)代,對(duì)于城市數(shù)智管理的一些理念和思考。
站在2024年的起點(diǎn),回顧過(guò)去兩百年的發(fā)展,人類社會(huì)經(jīng)歷了從第一次工業(yè)革命的機(jī)械化,到第二次工業(yè)革命的電氣化,再到信息化、數(shù)字化的發(fā)展?,F(xiàn)在,在2023年經(jīng)歷了智能化大模型的元年后,我們可以預(yù)見(jiàn),第五次工業(yè)革命,也就是智能化時(shí)代的正式啟動(dòng)。
從華為的愿景來(lái)看,這個(gè)新時(shí)代可以總結(jié)為三個(gè)維度:萬(wàn)物感知、萬(wàn)物互聯(lián)和萬(wàn)物智能。首先我們需要全面感知現(xiàn)實(shí)世界,并將所有現(xiàn)實(shí)世界聯(lián)接起來(lái),邁入萬(wàn)物智能的新時(shí)代。
我們認(rèn)為,感知是這個(gè)新時(shí)代的關(guān)鍵入口和抓手。沒(méi)有精準(zhǔn)的感知,就沒(méi)有精準(zhǔn)的數(shù)據(jù)來(lái)源;沒(méi)有精準(zhǔn)的數(shù)據(jù)來(lái)源,就無(wú)法實(shí)現(xiàn)高效的決策控制。從工業(yè)互聯(lián)網(wǎng)體系架構(gòu)2.0模型到以“感知-聯(lián)接-計(jì)算-存儲(chǔ)”四大核心能力為基礎(chǔ)的ICT產(chǎn)業(yè),感知是行業(yè)數(shù)字化轉(zhuǎn)型至關(guān)重要的一個(gè)節(jié)點(diǎn)。
今天我的演講主題就是“AI大模型+多維感知,賦能城市數(shù)智管理”。如果把城市比作一個(gè)龐大的人類,城市將具備各種感知器官。這些感知器官由視覺(jué)感知、光纖感知、雷達(dá)感知、無(wú)線感知等技術(shù)構(gòu)成。通過(guò)我們的神經(jīng)網(wǎng)絡(luò)聯(lián)接,最后匯聚到大腦中。
在感知方面,我們已經(jīng)從簡(jiǎn)單的視覺(jué)感知過(guò)渡到了多維感知時(shí)代。這意味著我們從單一的圖像感知,擴(kuò)展到了圖像、光纖、無(wú)線等立體感知的綜合概念。在聯(lián)接方面,我們從3G、4G到5G,再到未來(lái)的前沿技術(shù),我們一直在進(jìn)步。至于智能化,2023年最關(guān)鍵的突破是大模型技術(shù)的出現(xiàn),這標(biāo)志著通用人工智能時(shí)代的來(lái)臨,意味著整個(gè)城市智能體可以對(duì)其各個(gè)部分進(jìn)行感知,并做出正確的決策。
數(shù)字化轉(zhuǎn)型實(shí)際上我們前面已經(jīng)經(jīng)歷了一波比較大的浪潮,在城市治理領(lǐng)域,我們?cè)诖箬F周界、智慧高速和智慧交警等方面,已經(jīng)有非常大的行業(yè)發(fā)展。接下來(lái)我們認(rèn)為數(shù)字化會(huì)進(jìn)一步下沉,進(jìn)入第二波增長(zhǎng)曲線。
重點(diǎn)延伸包括如下幾個(gè)方面:第一個(gè)是智慧交通。通過(guò)多維立體感知和大模型的決策能力,使得整個(gè)交通的效率得到大幅提升。如城市平均車速至少提升18%、早晚高峰時(shí)間進(jìn)一步縮短、交通事故處理時(shí)間可以壓縮至少20%。第二個(gè)在生產(chǎn)方面,我們能做到全天候24小時(shí)的立體監(jiān)測(cè),用智能巡檢代替?zhèn)鹘y(tǒng)的人工巡檢,大幅提升巡檢效率,全場(chǎng)景生產(chǎn)效能提升10倍以上。
第三個(gè)在社區(qū)這一塊,我們從以前的被動(dòng)防護(hù)到數(shù)智管理,可以管理社區(qū)的方方面面,比如高空拋物、電動(dòng)車進(jìn)電梯消防通道占用等事件檢測(cè)。
在將智能化從概念轉(zhuǎn)化為實(shí)際商業(yè)應(yīng)用的過(guò)程中,我們面臨了三大核心挑戰(zhàn)。首先是部署成本問(wèn)題,AI的部署成本相對(duì)較高,其中網(wǎng)絡(luò)、算力和存儲(chǔ)的疊加導(dǎo)致整體投資占比達(dá)到70%。其次,AI需求場(chǎng)景的多樣性極大限制了智能化的發(fā)展速度,傳統(tǒng)的算法開發(fā)往往需要數(shù)月時(shí)間。最后,隱私和安全問(wèn)題也是至關(guān)重要的,如何在保障所有參與者隱私的同時(shí),確保整個(gè)網(wǎng)絡(luò)和系統(tǒng)的安全,是另一個(gè)我們必須面對(duì)的關(guān)鍵挑戰(zhàn)。
如何在各行各業(yè)的復(fù)雜場(chǎng)景中快速推進(jìn)智能化,華為推出了盤古大模型,它以基礎(chǔ)大模型、行業(yè)大模型和場(chǎng)景模型“LO-L2”三個(gè)層次為各行業(yè)提供大模型架構(gòu)。其中L0基礎(chǔ)大模型包括科學(xué)計(jì)算、自然語(yǔ)言處理(NLP)、多模態(tài)、Graph、視覺(jué)五個(gè)基本大型模型,以滿足行業(yè)場(chǎng)景中的多種技能需求。基于L0的大模型,我們進(jìn)一步開發(fā)了L1的行業(yè)大模型。這些行業(yè)大模型是針對(duì)特定領(lǐng)域或行業(yè)定制的,例如城市大模型和政務(wù)大模型。此外,我們還針對(duì)各行各業(yè)的應(yīng)用開發(fā)了更多的L2大模型。在城市治理方面,L2大模型主要關(guān)注三個(gè)智能化方向:智能發(fā)現(xiàn),對(duì)城市中各類問(wèn)題提前發(fā)現(xiàn)或快速識(shí)別;運(yùn)行監(jiān)測(cè),對(duì)各類系統(tǒng)運(yùn)行狀態(tài)進(jìn)行持續(xù)監(jiān)測(cè)和預(yù)測(cè);聯(lián)動(dòng)指揮,與職能部門進(jìn)行聯(lián)動(dòng),進(jìn)行科學(xué)決策和指揮。
其中,基于盤古大模型的視覺(jué)CV大模型,為AI場(chǎng)景化落地提供了加速引擎。通過(guò)數(shù)十億級(jí)的數(shù)據(jù)訓(xùn)練,賦能行業(yè)客戶利用少量樣本即可實(shí)現(xiàn)快速開發(fā)適應(yīng)新場(chǎng)景。小樣本學(xué)習(xí)能力強(qiáng)大,基本可以達(dá)到100-500張集結(jié)進(jìn)行訓(xùn)練。此外,我們的模型尺寸可以根據(jù)各行業(yè)的具體需求進(jìn)行定制,確保實(shí)際部署的效果。
在端側(cè),通過(guò)軟件定義架構(gòu)實(shí)現(xiàn)算力前端部署、算法按需定義、靈活加載,使得前端智能化;同時(shí)通過(guò)好望AI架構(gòu)降低AI開發(fā)門檻,縮短AI開放周期,實(shí)現(xiàn)將本增效,提供了更高的經(jīng)濟(jì)性和實(shí)用性。
在邊緣側(cè),通過(guò)智能邊緣設(shè)備承上啟下,從端側(cè)把更復(fù)雜的場(chǎng)景分析上傳到邊緣節(jié)點(diǎn)進(jìn)行計(jì)算和決策,實(shí)現(xiàn)AI算法端云協(xié)同。邊緣側(cè)設(shè)備主要包括網(wǎng)絡(luò)視頻邊緣NVR800、通用性智能邊緣IVS1800、智能交通邊緣ITS800,
它們?cè)诰徒渴鸷徒档驼w部署成本方面發(fā)揮著重要作用。
基于大模型的底座和感知硬件,我們的目標(biāo)是賦能千行百業(yè),因此建立一個(gè)良好的生態(tài)至關(guān)重要。這個(gè)生態(tài)需要眾多合作伙伴共同參與建設(shè)。目前,我們已經(jīng)發(fā)展了190多個(gè)算法合作伙伴,參與制定了20項(xiàng)智能感知標(biāo)準(zhǔn),并有600多個(gè)算法和應(yīng)用。在我們的生態(tài)算法商城中,按照華為標(biāo)準(zhǔn)經(jīng)過(guò)嚴(yán)格檢驗(yàn)測(cè)試的算法有50+個(gè)。隨著我們大模型的能力逐步賦能給生態(tài)伙伴,這個(gè)數(shù)字將會(huì)有顯著增長(zhǎng)。最終我們的目標(biāo)是在整個(gè)城市治理的各個(gè)方面,包括智慧社區(qū)、交通、交警等,都能發(fā)揮出巨大的作用。