2024年1月19日，在大數(shù)據(jù)模型日益成為社會熱潮的當(dāng)下，大模型開啟數(shù)智安防新時代——第十屆智慧城市建設(shè)創(chuàng)新發(fā)展大會暨深圳市智慧安防品牌推介會在深圳圓滿舉辦。浙江大華技術(shù)股份有限公司智慧城市首席架構(gòu)師張瑋先生現(xiàn)場分享了“圖數(shù)融合 深耕大模型 賦能城市治理”主題演講。

浙江大華技術(shù)股份有限公司智慧城市首席架構(gòu)師張瑋

以下是張瑋現(xiàn)場演講實錄，部分內(nèi)容智慧安防網(wǎng)做了不改變原意的修改。

各位領(lǐng)導(dǎo)，各位嘉賓，大家上午好！非常感謝有這次機(jī)會，和大家分享一下大華在最近幾年在智慧城市行業(yè)里面的一些實踐和思考，這么多專家都在座，我今天也是拋磚引玉。

我們智慧城市行業(yè)持續(xù)發(fā)展，技術(shù)和業(yè)務(wù)就像兩個輪子，共同推動我們行業(yè)的進(jìn)步。在早期，這主要體現(xiàn)在行業(yè)信息化方面，隨著大數(shù)據(jù)業(yè)務(wù)和技術(shù)的發(fā)展，我們開始嘗試實現(xiàn)“最多跑一次”的政務(wù)服務(wù)改革，這實際上是業(yè)務(wù)對技術(shù)提出了新的要求。而物聯(lián)網(wǎng)和視圖智能的發(fā)展，又進(jìn)一步推動了城市的精細(xì)化管理的發(fā)展，上海提到城市治理要像繡花針一樣精細(xì)，其實這些都是技術(shù)和業(yè)務(wù)的進(jìn)步在不斷推動這個行業(yè)向前發(fā)展。

隨著大模型、人工智能等技術(shù)的不斷發(fā)展，業(yè)務(wù)與技術(shù)之間的火花愈發(fā)絢爛。回首過去，技術(shù)與業(yè)務(wù)相互推動，為智慧城市的建設(shè)留下了寶貴的財富。這些財富正是行業(yè)中積累的多樣化數(shù)據(jù)，這些數(shù)據(jù)的多樣性、規(guī)模性以及隱私性，都為數(shù)據(jù)處理帶來了巨大的挑戰(zhàn)，尤其是對于視頻、物聯(lián)網(wǎng)等行業(yè)而言，我們需要進(jìn)行視圖計算和挖掘，同時還要嘗試將這視頻物聯(lián)數(shù)據(jù)和政務(wù)數(shù)據(jù)進(jìn)行聯(lián)動，以釋放數(shù)據(jù)的最大價值。

在城市管理和治理中，視圖智能確實能發(fā)現(xiàn)一些事件和個體。這些事件和個體背后的執(zhí)法、服務(wù)處理邏輯卻是各異的，因為人的背景據(jù)是不同的。以流動攤販為例，他們背后可能有各種原因。對于這些人，我們的執(zhí)法或服務(wù)手段不能一概而論。我們一直在思考如何讓治理更貼近老百姓，更具人文關(guān)懷。這就是我們長期以來的挑戰(zhàn)，也是我今天要重點探討的主題——雙數(shù)融合。如何實現(xiàn)政務(wù)數(shù)據(jù)與視頻物聯(lián)數(shù)據(jù)的融合，讓治理更加人性化，是我們需要深入探討的問題。

在2021年，我們發(fā)布了公司的戰(zhàn)略規(guī)劃，其中包括兩大引擎：數(shù)字引擎與視圖引擎。同時，我們明確了兩個主要的發(fā)展賽道，分別是城市和企業(yè)?；诂F(xiàn)在數(shù)據(jù)要素的新的要求，以及在大模型層面的積累，我們嘗試在架構(gòu)上做一個升級去適應(yīng)這一新的挑戰(zhàn)。

在數(shù)據(jù)資源化層面，我們建立了一體化的底層數(shù)據(jù)平臺，為數(shù)據(jù)采集提供了堅實的基礎(chǔ)。這一平臺不僅整合了傳統(tǒng)數(shù)據(jù)、物聯(lián)和視頻等多維度數(shù)據(jù)，還使其采集過程變得標(biāo)準(zhǔn)化和程序化。

2023年10月，我們發(fā)布了星漢大模型，很快我們便將視圖智能引擎融合了“星漢”大模型能力，突破傳統(tǒng)視覺認(rèn)知方式，可實現(xiàn)全場景自主解析，具有更強(qiáng)的泛化能力和更高的準(zhǔn)確性，為很多行業(yè)的拓展和場景的落地打開了想象的空間。

此外，在數(shù)據(jù)計算層面，我們將傳統(tǒng)的數(shù)據(jù)計算和視圖數(shù)據(jù)計算進(jìn)行了整合，不僅僅是物理層面的，在治理、建模、計算等多個層面，我們基于雙數(shù)融合的理念對數(shù)據(jù)智能引擎進(jìn)行了升級。。

基于這兩大引擎，我們針對政府城市管理和企業(yè)場景開發(fā)了天機(jī)和天衍等平臺。我們希望更多的廠商和合作伙伴能夠利用這些平臺進(jìn)行應(yīng)用和服務(wù)創(chuàng)新。

與2021年的1.0版本相比，我們現(xiàn)在所展示的是全新的2.0架構(gòu)版本，代表了我們在技術(shù)和業(yè)務(wù)方面進(jìn)行了升級。

我們先來看一下我們視圖智能引擎，通過多個項目實踐，我們發(fā)現(xiàn)視圖智能實時檢測過程中普遍會遇到兩個問題。第一個問題是如何合理調(diào)配和平衡計算力。由于很多現(xiàn)場的算力設(shè)備相當(dāng)復(fù)雜，涉及邊設(shè)備、端設(shè)備和中心設(shè)備等各種形態(tài)，因此如何確保算法和任務(wù)在合適的設(shè)備上運(yùn)行是一個問題。

第二個問題是如何讓算法在從實驗室轉(zhuǎn)移到現(xiàn)場后快速適應(yīng)環(huán)境，從而提高其準(zhǔn)確性。這也是我們在數(shù)字引擎升級過程中一直關(guān)注的問題。

如何更有效地平衡算力，在這一點上，我們嘗試借鑒大數(shù)據(jù)處理的實現(xiàn)路徑，算力池化，不僅關(guān)注中心智能的算力情況，還致力于實現(xiàn)邊緣智能和端智能的算力池化。通過一個任務(wù)來管理所有的端、邊和云的算力資源，形成一個完整的資源池，根據(jù)任務(wù)運(yùn)行狀態(tài)和網(wǎng)絡(luò)狀況，我們可以靈活地調(diào)配算力資源。

另外，我們也嘗試在任務(wù)中心加載一些智能模型，以便進(jìn)行靈活的調(diào)配。對于一些簡單的、機(jī)械性的處理任務(wù)，我們可以將其放在邊緣端處理；而對于一些復(fù)雜的、涉及聯(lián)動和不同方位的計算或檢測任務(wù)，則放在云端運(yùn)行，我們嘗試通過這樣的分層方式來構(gòu)建一體化、智能化的算力體系。這是我們的第一個嘗試。

第二個嘗試是如何解決算法問題，我相信許多公司都遇到過類似的問題。我們在2023年10月份發(fā)布了星漢大模型的能力。通過將其疊加到系統(tǒng)中，我們可以在預(yù)先使用大模型對現(xiàn)場大量數(shù)據(jù)進(jìn)行運(yùn)算調(diào)整，這樣可以快速提升算法的準(zhǔn)確性和性能。同時，我們利用本地大模型加載，使引擎在現(xiàn)場進(jìn)行訓(xùn)練和本地算法的優(yōu)化。這樣做能夠快速實現(xiàn)算法的本地優(yōu)化。由于環(huán)境對檢測技術(shù)結(jié)果有很大影響，通過大模型的加載，我們可以逐步提高算法的準(zhǔn)確性。這是我們正在嘗試解決的問題。

大模型的加載在操作層面上確實帶來了簡化。在傳統(tǒng)的檢測過程中，我們經(jīng)常需要大量地調(diào)整規(guī)則配置以提升精確性。但有了大模型加載后，我們甚至不需要為每個攝像頭單獨(dú)配置算法,大模型全場景自主解析，系統(tǒng)自動識別，這大大降低了配置的難度。

我們在視圖智能引擎方面做了許多嘗試，包括算力的合理調(diào)配、模型加載以簡化操作，以及提升算法穩(wěn)定性。另外，我們嘗試使用算力池化來統(tǒng)一管理云、邊、端所有的算法層面的問題，并結(jié)合大模型進(jìn)行迭代。

在實踐過程中，我們遇到的一個重要問題是如何將事件檢測的數(shù)據(jù)更好地應(yīng)用到實際場景中。為了解決這一問題，我們提出了圖數(shù)融合的方法。我們將傳統(tǒng)的數(shù)據(jù)計算引擎進(jìn)行擴(kuò)展，讓政務(wù)數(shù)據(jù)和視頻物聯(lián)數(shù)據(jù)在同一個引擎中運(yùn)行。這樣，我們可以通過一系列的算法工具直接關(guān)聯(lián)兩種數(shù)據(jù)，這在整個操作層面帶來了更簡潔的邏輯。

另一個嘗試是解決數(shù)據(jù)全流程質(zhì)量的問題。很多時候，終端檢測到事件，但由于點位治理的問題，如位置標(biāo)識不準(zhǔn)確，導(dǎo)致任務(wù)無法圍繞事件進(jìn)行傳導(dǎo)。我們從數(shù)據(jù)的采集到治理，再到價值的計算，都需要做好全流程數(shù)據(jù)質(zhì)量的工作。我們也嘗試使用智能手段對采集到的數(shù)據(jù)進(jìn)行治理，通過標(biāo)簽化數(shù)據(jù)結(jié)合智能模型判斷數(shù)據(jù)質(zhì)量，我們可以反向推動數(shù)據(jù)采集源頭的改進(jìn)。這是我們在數(shù)據(jù)智能領(lǐng)域需要完成的一個重要環(huán)節(jié)。

同時，在數(shù)據(jù)系統(tǒng)中，我們也嘗試使用人、地、事物、管理對象和配套資源等關(guān)鍵要素來關(guān)聯(lián)整個系統(tǒng)節(jié)點。我們還建立了城市事件中心，以城市管理為核心事件，基于事件發(fā)現(xiàn)發(fā)生的規(guī)律，我們可以更好地指導(dǎo)或輔助城市管理的提質(zhì)和增效。我們開發(fā)了最新的數(shù)據(jù)探索平臺，通過拖拉拽的方式，它能夠直觀地展示以人、地、組織為核心的各種信息關(guān)聯(lián)，不僅包括視頻數(shù)據(jù)，還包括傳統(tǒng)的政務(wù)數(shù)據(jù)。同時，我們也支持12種開發(fā)語言進(jìn)行底層開發(fā)，這樣更加靈活。

結(jié)合大模型和圖數(shù)融合技術(shù)，我們推出了政府天機(jī)系列能力平臺，包括行業(yè)模型智算引擎、孿生場景生成引擎、數(shù)據(jù)資產(chǎn)管理服務(wù)、數(shù)據(jù)要素運(yùn)營中心四大核心能力支撐，并且我們積累了200多個能夠快速構(gòu)建起具備綜合管理決策能力的數(shù)字孿生應(yīng)用場景。

在早期的智慧城市和一網(wǎng)統(tǒng)管項目中，按照客戶的要求來實施項目，需要經(jīng)歷反復(fù)的需求確認(rèn)過程，整個過程相對漫長，在客戶應(yīng)用從模糊到清晰的過程中，我們會浪費(fèi)一些時間。因此，我們思考如何將我們的傳統(tǒng)能力標(biāo)準(zhǔn)化，或者將管理模型標(biāo)準(zhǔn)化。這是我們在這些場景中考慮的重要問題。

以行業(yè)計算為例，我們在行業(yè)計算中積累了固定的行業(yè)內(nèi)部管理模型。例如，在渣土車管理中，從工地到路面再到渣土投放點，有一套完整的管理模型。當(dāng)我們沉淀這樣的模型后，就可以得出一個經(jīng)驗：要實現(xiàn)這樣的模型，必須有相應(yīng)的設(shè)備安裝和數(shù)據(jù)采集，以及對應(yīng)的數(shù)據(jù)一二三。

隨著這些模型的沉淀和積累，我們可以開發(fā)出一個成熟的、可復(fù)制的產(chǎn)品。這也是我們從技術(shù)角度嘗試推動業(yè)務(wù)發(fā)展的方式。通過標(biāo)準(zhǔn)化我們的能力和管理模型，我們可以更高效地滿足客戶需求，并加速項目的實施過程。

此外，我想談?wù)剶?shù)字孿生這一新技術(shù)。有人可能會質(zhì)疑傳統(tǒng)視頻廠商涉足這一領(lǐng)域是否恰當(dāng)。但實際上，我們一直在思考如何解決城市大場景和局部小場景結(jié)合中的一些難題。數(shù)字孿生為我們提供了一個解決方案。

我們知道，傳統(tǒng)的視頻監(jiān)控場景中，我們可能會使用高點AR和視頻標(biāo)簽來疊加數(shù)據(jù)、進(jìn)行實時監(jiān)測等。這種手段在固定場景中很有效，但如果應(yīng)用到整個城市，數(shù)字孿生技術(shù)則更為適用。

通過數(shù)字孿生技術(shù)，我們可以為城市或區(qū)域建立模型，并在其上疊加已有的政務(wù)數(shù)據(jù)、人、地、事、物等結(jié)構(gòu)化數(shù)據(jù)，以及視頻數(shù)據(jù)。將這些數(shù)據(jù)加載到數(shù)字孿生模型中，可以帶來更直觀的管理體驗，提高整個管理的效率。

在傳統(tǒng)的高點AR無法完全覆蓋的重點部位，我們通過視頻與三維模型的拼接，將視頻直接貼合到已建好的三維模型上，生成完整的視頻實景圖。通過自動巡航任務(wù)或腳本，幫助現(xiàn)場管理人員解決各種問題，進(jìn)一步簡化操作難度。

從宏觀和微觀兩個層面來看，我們將路況和路網(wǎng)數(shù)據(jù)疊加到整個城市的三維模型上，可以全面的展示城市的交通狀況，具體到某個路口時，我們將路口的視頻和車流數(shù)據(jù)融合，得到該路口的詳細(xì)數(shù)據(jù)。這些數(shù)據(jù)對于道路仿真評價或城市仿真評價非常有價值。基于大模型加載的數(shù)字孿生技術(shù)，其準(zhǔn)確率會有明顯的提升，同時在整體算力部署上相對傳統(tǒng)模式更為節(jié)省，我們未來會持續(xù)發(fā)力的數(shù)字孿生技術(shù)領(lǐng)域。

最后，我想強(qiáng)調(diào)的是，隨著大模型的不斷發(fā)展，業(yè)務(wù)管理手段和服務(wù)方式都將發(fā)生變革。創(chuàng)新場景和創(chuàng)新變革將不斷涌現(xiàn)。大華更愿意扮演數(shù)據(jù)、能力供給者的角色，與廣大合作伙伴共同開創(chuàng)新的局面。在和合作伙伴的交流合作中，我們提供了三種不同的合作模式：

在方案共建方面，伙伴和大華可以將各自成熟的業(yè)務(wù)或者產(chǎn)品組裝成完整的解決方案，形成優(yōu)勢互補(bǔ)，提升整體方案競爭力。例如我們與恒時共同推出了事件管理處置方案，結(jié)合大華的物聯(lián)智能平臺和恒時的事件管理處置類平臺，形成具備統(tǒng)一用戶、權(quán)限和數(shù)據(jù)的完整業(yè)務(wù)閉環(huán)解決方案，同時我們還將事件平臺中的數(shù)據(jù)回流到數(shù)據(jù)智能引擎中去參與計算，圍繞城市事件發(fā)生的規(guī)律和趨勢去做一些研判和分析，實現(xiàn)了產(chǎn)品能力互補(bǔ)和業(yè)務(wù)環(huán)節(jié)的補(bǔ)齊。

在產(chǎn)品共創(chuàng)方面，伙伴可以基于大華物聯(lián)數(shù)智平臺基礎(chǔ)能力和低代碼引擎，共同發(fā)布聯(lián)合產(chǎn)品，在雙方渠道進(jìn)行銷售，降低研發(fā)成本，提升上市速度和利潤空間。

在能力共享方面，合作伙伴可以依托大華物聯(lián)數(shù)智平臺提供的完整能力，根據(jù)業(yè)務(wù)需要靈活組裝，構(gòu)建各類強(qiáng)大的業(yè)務(wù)應(yīng)用。

我今天分享的內(nèi)容大概就是這些，我也希望和各個伙伴們一起攜手，在大模型這個時代來臨我們一起共創(chuàng)、共建、共贏，謝謝！