2024年1月19日，在大數(shù)據(jù)模型日益成為社會(huì)熱潮的當(dāng)下，大模型開(kāi)啟數(shù)智安防新時(shí)代——第十屆智慧城市建設(shè)創(chuàng)新發(fā)展大會(huì)暨深圳市智慧安防品牌推介會(huì)在深圳圓滿(mǎn)舉辦。浙江大華技術(shù)股份有限公司智慧城市首席架構(gòu)師張瑋先生現(xiàn)場(chǎng)分享了“圖數(shù)融合 深耕大模型 賦能城市治理”主題演講。

浙江大華技術(shù)股份有限公司智慧城市首席架構(gòu)師張瑋

以下是張瑋現(xiàn)場(chǎng)演講實(shí)錄，部分內(nèi)容智慧安防網(wǎng)做了不改變?cè)獾男薷摹?/span>

各位領(lǐng)導(dǎo)，各位嘉賓，大家上午好！非常感謝有這次機(jī)會(huì)，和大家分享一下大華在最近幾年在智慧城市行業(yè)里面的一些實(shí)踐和思考，這么多專(zhuān)家都在座，我今天也是拋磚引玉。

我們智慧城市行業(yè)持續(xù)發(fā)展，技術(shù)和業(yè)務(wù)就像兩個(gè)輪子，共同推動(dòng)我們行業(yè)的進(jìn)步。在早期，這主要體現(xiàn)在行業(yè)信息化方面，隨著大數(shù)據(jù)業(yè)務(wù)和技術(shù)的發(fā)展，我們開(kāi)始嘗試實(shí)現(xiàn)“最多跑一次”的政務(wù)服務(wù)改革，這實(shí)際上是業(yè)務(wù)對(duì)技術(shù)提出了新的要求。而物聯(lián)網(wǎng)和視圖智能的發(fā)展，又進(jìn)一步推動(dòng)了城市的精細(xì)化管理的發(fā)展，上海提到城市治理要像繡花針一樣精細(xì)，其實(shí)這些都是技術(shù)和業(yè)務(wù)的進(jìn)步在不斷推動(dòng)這個(gè)行業(yè)向前發(fā)展。

隨著大模型、人工智能等技術(shù)的不斷發(fā)展，業(yè)務(wù)與技術(shù)之間的火花愈發(fā)絢爛?；厥走^(guò)去，技術(shù)與業(yè)務(wù)相互推動(dòng)，為智慧城市的建設(shè)留下了寶貴的財(cái)富。這些財(cái)富正是行業(yè)中積累的多樣化數(shù)據(jù)，這些數(shù)據(jù)的多樣性、規(guī)模性以及隱私性，都為數(shù)據(jù)處理帶來(lái)了巨大的挑戰(zhàn)，尤其是對(duì)于視頻、物聯(lián)網(wǎng)等行業(yè)而言，我們需要進(jìn)行視圖計(jì)算和挖掘，同時(shí)還要嘗試將這視頻物聯(lián)數(shù)據(jù)和政務(wù)數(shù)據(jù)進(jìn)行聯(lián)動(dòng)，以釋放數(shù)據(jù)的最大價(jià)值。

在城市管理和治理中，視圖智能確實(shí)能發(fā)現(xiàn)一些事件和個(gè)體。這些事件和個(gè)體背后的執(zhí)法、服務(wù)處理邏輯卻是各異的，因?yàn)槿说谋尘皳?jù)是不同的。以流動(dòng)攤販為例，他們背后可能有各種原因。對(duì)于這些人，我們的執(zhí)法或服務(wù)手段不能一概而論。我們一直在思考如何讓治理更貼近老百姓，更具人文關(guān)懷。這就是我們長(zhǎng)期以來(lái)的挑戰(zhàn)，也是我今天要重點(diǎn)探討的主題——雙數(shù)融合。如何實(shí)現(xiàn)政務(wù)數(shù)據(jù)與視頻物聯(lián)數(shù)據(jù)的融合，讓治理更加人性化，是我們需要深入探討的問(wèn)題。

在2021年，我們發(fā)布了公司的戰(zhàn)略規(guī)劃，其中包括兩大引擎：數(shù)字引擎與視圖引擎。同時(shí)，我們明確了兩個(gè)主要的發(fā)展賽道，分別是城市和企業(yè)?；诂F(xiàn)在數(shù)據(jù)要素的新的要求，以及在大模型層面的積累，我們嘗試在架構(gòu)上做一個(gè)升級(jí)去適應(yīng)這一新的挑戰(zhàn)。

在數(shù)據(jù)資源化層面，我們建立了一體化的底層數(shù)據(jù)平臺(tái)，為數(shù)據(jù)采集提供了堅(jiān)實(shí)的基礎(chǔ)。這一平臺(tái)不僅整合了傳統(tǒng)數(shù)據(jù)、物聯(lián)和視頻等多維度數(shù)據(jù)，還使其采集過(guò)程變得標(biāo)準(zhǔn)化和程序化。

2023年10月，我們發(fā)布了星漢大模型，很快我們便將視圖智能引擎融合了“星漢”大模型能力，突破傳統(tǒng)視覺(jué)認(rèn)知方式，可實(shí)現(xiàn)全場(chǎng)景自主解析，具有更強(qiáng)的泛化能力和更高的準(zhǔn)確性，為很多行業(yè)的拓展和場(chǎng)景的落地打開(kāi)了想象的空間。

此外，在數(shù)據(jù)計(jì)算層面，我們將傳統(tǒng)的數(shù)據(jù)計(jì)算和視圖數(shù)據(jù)計(jì)算進(jìn)行了整合，不僅僅是物理層面的，在治理、建模、計(jì)算等多個(gè)層面，我們基于雙數(shù)融合的理念對(duì)數(shù)據(jù)智能引擎進(jìn)行了升級(jí)。。

基于這兩大引擎，我們針對(duì)政府城市管理和企業(yè)場(chǎng)景開(kāi)發(fā)了天機(jī)和天衍等平臺(tái)。我們希望更多的廠商和合作伙伴能夠利用這些平臺(tái)進(jìn)行應(yīng)用和服務(wù)創(chuàng)新。

與2021年的1.0版本相比，我們現(xiàn)在所展示的是全新的2.0架構(gòu)版本，代表了我們?cè)诩夹g(shù)和業(yè)務(wù)方面進(jìn)行了升級(jí)。

我們先來(lái)看一下我們視圖智能引擎，通過(guò)多個(gè)項(xiàng)目實(shí)踐，我們發(fā)現(xiàn)視圖智能實(shí)時(shí)檢測(cè)過(guò)程中普遍會(huì)遇到兩個(gè)問(wèn)題。第一個(gè)問(wèn)題是如何合理調(diào)配和平衡計(jì)算力。由于很多現(xiàn)場(chǎng)的算力設(shè)備相當(dāng)復(fù)雜，涉及邊設(shè)備、端設(shè)備和中心設(shè)備等各種形態(tài)，因此如何確保算法和任務(wù)在合適的設(shè)備上運(yùn)行是一個(gè)問(wèn)題。

第二個(gè)問(wèn)題是如何讓算法在從實(shí)驗(yàn)室轉(zhuǎn)移到現(xiàn)場(chǎng)后快速適應(yīng)環(huán)境，從而提高其準(zhǔn)確性。這也是我們?cè)跀?shù)字引擎升級(jí)過(guò)程中一直關(guān)注的問(wèn)題。

如何更有效地平衡算力，在這一點(diǎn)上，我們嘗試借鑒大數(shù)據(jù)處理的實(shí)現(xiàn)路徑，算力池化，不僅關(guān)注中心智能的算力情況，還致力于實(shí)現(xiàn)邊緣智能和端智能的算力池化。通過(guò)一個(gè)任務(wù)來(lái)管理所有的端、邊和云的算力資源，形成一個(gè)完整的資源池，根據(jù)任務(wù)運(yùn)行狀態(tài)和網(wǎng)絡(luò)狀況，我們可以靈活地調(diào)配算力資源。

另外，我們也嘗試在任務(wù)中心加載一些智能模型，以便進(jìn)行靈活的調(diào)配。對(duì)于一些簡(jiǎn)單的、機(jī)械性的處理任務(wù)，我們可以將其放在邊緣端處理；而對(duì)于一些復(fù)雜的、涉及聯(lián)動(dòng)和不同方位的計(jì)算或檢測(cè)任務(wù)，則放在云端運(yùn)行，我們嘗試通過(guò)這樣的分層方式來(lái)構(gòu)建一體化、智能化的算力體系。這是我們的第一個(gè)嘗試。

第二個(gè)嘗試是如何解決算法問(wèn)題，我相信許多公司都遇到過(guò)類(lèi)似的問(wèn)題。我們?cè)?023年10月份發(fā)布了星漢大模型的能力。通過(guò)將其疊加到系統(tǒng)中，我們可以在預(yù)先使用大模型對(duì)現(xiàn)場(chǎng)大量數(shù)據(jù)進(jìn)行運(yùn)算調(diào)整，這樣可以快速提升算法的準(zhǔn)確性和性能。同時(shí)，我們利用本地大模型加載，使引擎在現(xiàn)場(chǎng)進(jìn)行訓(xùn)練和本地算法的優(yōu)化。這樣做能夠快速實(shí)現(xiàn)算法的本地優(yōu)化。由于環(huán)境對(duì)檢測(cè)技術(shù)結(jié)果有很大影響，通過(guò)大模型的加載，我們可以逐步提高算法的準(zhǔn)確性。這是我們正在嘗試解決的問(wèn)題。

大模型的加載在操作層面上確實(shí)帶來(lái)了簡(jiǎn)化。在傳統(tǒng)的檢測(cè)過(guò)程中，我們經(jīng)常需要大量地調(diào)整規(guī)則配置以提升精確性。但有了大模型加載后，我們甚至不需要為每個(gè)攝像頭單獨(dú)配置算法,大模型全場(chǎng)景自主解析，系統(tǒng)自動(dòng)識(shí)別，這大大降低了配置的難度。

我們?cè)谝晥D智能引擎方面做了許多嘗試，包括算力的合理調(diào)配、模型加載以簡(jiǎn)化操作，以及提升算法穩(wěn)定性。另外，我們嘗試使用算力池化來(lái)統(tǒng)一管理云、邊、端所有的算法層面的問(wèn)題，并結(jié)合大模型進(jìn)行迭代。

在實(shí)踐過(guò)程中，我們遇到的一個(gè)重要問(wèn)題是如何將事件檢測(cè)的數(shù)據(jù)更好地應(yīng)用到實(shí)際場(chǎng)景中。為了解決這一問(wèn)題，我們提出了圖數(shù)融合的方法。我們將傳統(tǒng)的數(shù)據(jù)計(jì)算引擎進(jìn)行擴(kuò)展，讓政務(wù)數(shù)據(jù)和視頻物聯(lián)數(shù)據(jù)在同一個(gè)引擎中運(yùn)行。這樣，我們可以通過(guò)一系列的算法工具直接關(guān)聯(lián)兩種數(shù)據(jù)，這在整個(gè)操作層面帶來(lái)了更簡(jiǎn)潔的邏輯。

另一個(gè)嘗試是解決數(shù)據(jù)全流程質(zhì)量的問(wèn)題。很多時(shí)候，終端檢測(cè)到事件，但由于點(diǎn)位治理的問(wèn)題，如位置標(biāo)識(shí)不準(zhǔn)確，導(dǎo)致任務(wù)無(wú)法圍繞事件進(jìn)行傳導(dǎo)。我們從數(shù)據(jù)的采集到治理，再到價(jià)值的計(jì)算，都需要做好全流程數(shù)據(jù)質(zhì)量的工作。我們也嘗試使用智能手段對(duì)采集到的數(shù)據(jù)進(jìn)行治理，通過(guò)標(biāo)簽化數(shù)據(jù)結(jié)合智能模型判斷數(shù)據(jù)質(zhì)量，我們可以反向推動(dòng)數(shù)據(jù)采集源頭的改進(jìn)。這是我們?cè)跀?shù)據(jù)智能領(lǐng)域需要完成的一個(gè)重要環(huán)節(jié)。

同時(shí)，在數(shù)據(jù)系統(tǒng)中，我們也嘗試使用人、地、事物、管理對(duì)象和配套資源等關(guān)鍵要素來(lái)關(guān)聯(lián)整個(gè)系統(tǒng)節(jié)點(diǎn)。我們還建立了城市事件中心，以城市管理為核心事件，基于事件發(fā)現(xiàn)發(fā)生的規(guī)律，我們可以更好地指導(dǎo)或輔助城市管理的提質(zhì)和增效。我們開(kāi)發(fā)了最新的數(shù)據(jù)探索平臺(tái)，通過(guò)拖拉拽的方式，它能夠直觀地展示以人、地、組織為核心的各種信息關(guān)聯(lián)，不僅包括視頻數(shù)據(jù)，還包括傳統(tǒng)的政務(wù)數(shù)據(jù)。同時(shí)，我們也支持12種開(kāi)發(fā)語(yǔ)言進(jìn)行底層開(kāi)發(fā)，這樣更加靈活。

結(jié)合大模型和圖數(shù)融合技術(shù)，我們推出了政府天機(jī)系列能力平臺(tái)，包括行業(yè)模型智算引擎、孿生場(chǎng)景生成引擎、數(shù)據(jù)資產(chǎn)管理服務(wù)、數(shù)據(jù)要素運(yùn)營(yíng)中心四大核心能力支撐，并且我們積累了200多個(gè)能夠快速構(gòu)建起具備綜合管理決策能力的數(shù)字孿生應(yīng)用場(chǎng)景。

在早期的智慧城市和一網(wǎng)統(tǒng)管項(xiàng)目中，按照客戶(hù)的要求來(lái)實(shí)施項(xiàng)目，需要經(jīng)歷反復(fù)的需求確認(rèn)過(guò)程，整個(gè)過(guò)程相對(duì)漫長(zhǎng)，在客戶(hù)應(yīng)用從模糊到清晰的過(guò)程中，我們會(huì)浪費(fèi)一些時(shí)間。因此，我們思考如何將我們的傳統(tǒng)能力標(biāo)準(zhǔn)化，或者將管理模型標(biāo)準(zhǔn)化。這是我們?cè)谶@些場(chǎng)景中考慮的重要問(wèn)題。

以行業(yè)計(jì)算為例，我們?cè)谛袠I(yè)計(jì)算中積累了固定的行業(yè)內(nèi)部管理模型。例如，在渣土車(chē)管理中，從工地到路面再到渣土投放點(diǎn)，有一套完整的管理模型。當(dāng)我們沉淀這樣的模型后，就可以得出一個(gè)經(jīng)驗(yàn)：要實(shí)現(xiàn)這樣的模型，必須有相應(yīng)的設(shè)備安裝和數(shù)據(jù)采集，以及對(duì)應(yīng)的數(shù)據(jù)一二三。

隨著這些模型的沉淀和積累，我們可以開(kāi)發(fā)出一個(gè)成熟的、可復(fù)制的產(chǎn)品。這也是我們從技術(shù)角度嘗試推動(dòng)業(yè)務(wù)發(fā)展的方式。通過(guò)標(biāo)準(zhǔn)化我們的能力和管理模型，我們可以更高效地滿(mǎn)足客戶(hù)需求，并加速項(xiàng)目的實(shí)施過(guò)程。

此外，我想談?wù)剶?shù)字孿生這一新技術(shù)。有人可能會(huì)質(zhì)疑傳統(tǒng)視頻廠商涉足這一領(lǐng)域是否恰當(dāng)。但實(shí)際上，我們一直在思考如何解決城市大場(chǎng)景和局部小場(chǎng)景結(jié)合中的一些難題。數(shù)字孿生為我們提供了一個(gè)解決方案。

我們知道，傳統(tǒng)的視頻監(jiān)控場(chǎng)景中，我們可能會(huì)使用高點(diǎn)AR和視頻標(biāo)簽來(lái)疊加數(shù)據(jù)、進(jìn)行實(shí)時(shí)監(jiān)測(cè)等。這種手段在固定場(chǎng)景中很有效，但如果應(yīng)用到整個(gè)城市，數(shù)字孿生技術(shù)則更為適用。

通過(guò)數(shù)字孿生技術(shù)，我們可以為城市或區(qū)域建立模型，并在其上疊加已有的政務(wù)數(shù)據(jù)、人、地、事、物等結(jié)構(gòu)化數(shù)據(jù)，以及視頻數(shù)據(jù)。將這些數(shù)據(jù)加載到數(shù)字孿生模型中，可以帶來(lái)更直觀的管理體驗(yàn)，提高整個(gè)管理的效率。

在傳統(tǒng)的高點(diǎn)AR無(wú)法完全覆蓋的重點(diǎn)部位，我們通過(guò)視頻與三維模型的拼接，將視頻直接貼合到已建好的三維模型上，生成完整的視頻實(shí)景圖。通過(guò)自動(dòng)巡航任務(wù)或腳本，幫助現(xiàn)場(chǎng)管理人員解決各種問(wèn)題，進(jìn)一步簡(jiǎn)化操作難度。

從宏觀和微觀兩個(gè)層面來(lái)看，我們將路況和路網(wǎng)數(shù)據(jù)疊加到整個(gè)城市的三維模型上，可以全面的展示城市的交通狀況，具體到某個(gè)路口時(shí)，我們將路口的視頻和車(chē)流數(shù)據(jù)融合，得到該路口的詳細(xì)數(shù)據(jù)。這些數(shù)據(jù)對(duì)于道路仿真評(píng)價(jià)或城市仿真評(píng)價(jià)非常有價(jià)值?；诖竽Ｐ图虞d的數(shù)字孿生技術(shù)，其準(zhǔn)確率會(huì)有明顯的提升，同時(shí)在整體算力部署上相對(duì)傳統(tǒng)模式更為節(jié)省，我們未來(lái)會(huì)持續(xù)發(fā)力的數(shù)字孿生技術(shù)領(lǐng)域。

最后，我想強(qiáng)調(diào)的是，隨著大模型的不斷發(fā)展，業(yè)務(wù)管理手段和服務(wù)方式都將發(fā)生變革。創(chuàng)新場(chǎng)景和創(chuàng)新變革將不斷涌現(xiàn)。大華更愿意扮演數(shù)據(jù)、能力供給者的角色，與廣大合作伙伴共同開(kāi)創(chuàng)新的局面。在和合作伙伴的交流合作中，我們提供了三種不同的合作模式：

在方案共建方面，伙伴和大華可以將各自成熟的業(yè)務(wù)或者產(chǎn)品組裝成完整的解決方案，形成優(yōu)勢(shì)互補(bǔ)，提升整體方案競(jìng)爭(zhēng)力。例如我們與恒時(shí)共同推出了事件管理處置方案，結(jié)合大華的物聯(lián)智能平臺(tái)和恒時(shí)的事件管理處置類(lèi)平臺(tái)，形成具備統(tǒng)一用戶(hù)、權(quán)限和數(shù)據(jù)的完整業(yè)務(wù)閉環(huán)解決方案，同時(shí)我們還將事件平臺(tái)中的數(shù)據(jù)回流到數(shù)據(jù)智能引擎中去參與計(jì)算，圍繞城市事件發(fā)生的規(guī)律和趨勢(shì)去做一些研判和分析，實(shí)現(xiàn)了產(chǎn)品能力互補(bǔ)和業(yè)務(wù)環(huán)節(jié)的補(bǔ)齊。

在產(chǎn)品共創(chuàng)方面，伙伴可以基于大華物聯(lián)數(shù)智平臺(tái)基礎(chǔ)能力和低代碼引擎，共同發(fā)布聯(lián)合產(chǎn)品，在雙方渠道進(jìn)行銷(xiāo)售，降低研發(fā)成本，提升上市速度和利潤(rùn)空間。

在能力共享方面，合作伙伴可以依托大華物聯(lián)數(shù)智平臺(tái)提供的完整能力，根據(jù)業(yè)務(wù)需要靈活組裝，構(gòu)建各類(lèi)強(qiáng)大的業(yè)務(wù)應(yīng)用。

我今天分享的內(nèi)容大概就是這些，我也希望和各個(gè)伙伴們一起攜手，在大模型這個(gè)時(shí)代來(lái)臨我們一起共創(chuàng)、共建、共贏，謝謝！