人工智能是讓計算機(jī)模擬人類去看、去聽和去讀。圖像、語音和文字的理解,基本構(gòu)成了現(xiàn)在的人工智能。實驗心理學(xué)家赤瑞特拉(Treicher)的著名心理實驗得出:人類感官獲取信息有83%來自視覺,所以在當(dāng)前人工智能應(yīng)用中,50%以上與機(jī)器視覺有關(guān)。人類進(jìn)入智能社會的基礎(chǔ)是數(shù)字化,萬物感知是將物理世界數(shù)字化的前提,65%的行業(yè)數(shù)字化信息來自于機(jī)器視覺,而前端視覺感知的種類、數(shù)量和質(zhì)量決定了智能化程度的高低。
作為機(jī)器視覺的感知終端,智能攝像機(jī)在5年前便已經(jīng)出現(xiàn),與傳統(tǒng)高清網(wǎng)絡(luò)攝像機(jī)(IPC)不同,在AI深化的智能時代,前端攝像機(jī)越智能,就越能適應(yīng)復(fù)雜多變的環(huán)境,抓住稍縱即逝的時機(jī),采集到更高質(zhì)量的視頻數(shù)據(jù)。但是受限于當(dāng)時算法和芯片技術(shù),在雨天、沙塵、霧霾等不可抗拒的環(huán)境因素影響時,會導(dǎo)致成像質(zhì)量不佳;另外場景中的角度、遮擋、光線和像素等因素也會導(dǎo)致目標(biāo)識別的準(zhǔn)確率偏低,很難將智能真正應(yīng)用于實戰(zhàn)。尤其是復(fù)雜場景下的視頻采集一直是業(yè)界的難題,比如大角度、低照度人臉抓拍、夜間低照度場景人車抓拍,白天玻璃強反光下車內(nèi)人臉抓拍等。
面對這些挑戰(zhàn),整個業(yè)界對攝像機(jī)智能化的訴求越來越高,攝像機(jī)已經(jīng)從以“編碼”為中心的10年一代轉(zhuǎn)向了以“人工智能”為核心的3~6個月一輪迭代,要求攝像機(jī)內(nèi)置智能算力、有開放OS、能夠在線加載算法。讓攝像機(jī)從“看得見、看得清”,進(jìn)而能夠“看得懂”。 前端視覺感知智能化,提升了算力效率同時降低了反應(yīng)時間,進(jìn)而提升了視頻、圖片及各種數(shù)據(jù)采集的質(zhì)量和協(xié)同性,有效了解決了上述各種挑戰(zhàn),為前端“全息感知”奠定基礎(chǔ)。
華為機(jī)器視覺在2018年3月提出前端智能攝像機(jī)“軟件定義”的理念,在2020年6月主導(dǎo)首個軟件定義攝像機(jī)國際標(biāo)準(zhǔn),推動架構(gòu)及接口形成ITU-T標(biāo)準(zhǔn)。通過領(lǐng)先的前端智能架構(gòu),通過AI算力加持,引領(lǐng)在圖像和智能感知優(yōu)勢與創(chuàng)新,通過軟件定義實現(xiàn)多業(yè)務(wù)多場景的智能按需使用,可持續(xù)演進(jìn)。華為攝像機(jī)以SuperColor 算力換存儲、SDC OS、IoT生態(tài)倉、HoloSens Store等多項突破性創(chuàng)新,深化視覺感知智能化,提升全天候全場景的視覺數(shù)據(jù)采集的質(zhì)量,構(gòu)筑領(lǐng)先精準(zhǔn)視頻智能。
華為倡導(dǎo)的機(jī)器視覺前端智能化,主要有以下幾個方面考慮:
第一,增強全天候圖像質(zhì)量:根據(jù)環(huán)境的照度、目標(biāo)速度等變化,前端AI算法實時調(diào)節(jié)攝像機(jī)ISP參數(shù)(如快門、光圈、曝光等系數(shù)),輸出最佳的抓拍圖(去重的、保證最優(yōu)姿態(tài)的圖片);前端智能還可以精準(zhǔn)地做到人臉和人體數(shù)據(jù)的關(guān)聯(lián)。從而增強全天候的圖像質(zhì)量。
第二,適配多樣性場景:前端智能可適配復(fù)雜多場景,如攝像機(jī)在不同時段、不同預(yù)置點設(shè)置不同場景化智能,白天做車輛排隊長度檢測、事故檢測、夜間做違停抓拍檢測,或者預(yù)置點間不同智能切換,充分發(fā)揮智能化的效能。軟件定義來消化客戶個性化/場景化的算法訴求,降低多樣化算法交付的敞口風(fēng)險,提升客戶智能創(chuàng)新的響應(yīng)能力。如華為X/M/C/D四大系列攝像機(jī)均支持SDC OS,使得軟件與硬件解耦,通過輕量化容器技術(shù)構(gòu)建面向多算法的集成框架,讓各算法獨立運行,實現(xiàn)算法的快速加載與在線迭代。同時,華為推出HoloSens商城,旨在聚合機(jī)器視覺生態(tài)合作伙伴,為客戶提供面向各行業(yè)應(yīng)用場景的智能能力選擇。
第三,實現(xiàn)ms級聯(lián)動系統(tǒng)響應(yīng):前端智能有利于業(yè)務(wù)快速閉環(huán)和系統(tǒng)間聯(lián)動,如車路協(xié)同V2I高速運動場景,視頻感知的路側(cè)信息要毫秒級實時發(fā)布給附件車輛,保障通行安全。攝像機(jī)與補光燈、雷達(dá)、紅綠燈信號檢測器等外部配套設(shè)備需要毫秒級完成聯(lián)動,在恰當(dāng)時刻曝光、針對不同區(qū)域啟動精準(zhǔn)補光,與紅綠燈信號檢測器周期同步,輸出有效的取證圖片。此外如雷球聯(lián)動、槍球聯(lián)動、人車道閘聯(lián)動場景,前端智能化更有利于保障業(yè)務(wù)的實時性,大幅提升系統(tǒng)的響應(yīng)效率。
第四,提升算力效能,降低整體TCO:前端攝像機(jī)僅處理單路視頻,對算力制程要求比后端更低,信號處理時可直接從RawData獲取數(shù)據(jù),算力成本低,處理效率高。前端智能化輸出優(yōu)質(zhì)圖片,可減少后端二次解碼環(huán)節(jié),專注于智能分析。同樣算力下,圖片分析比視頻分析的效率高10倍。在1000路智能分析的典配場景,前端智能比后端智能的TCO節(jié)約55%。
第五,提升工程效率:前端智能化系統(tǒng)架構(gòu)有支持多算法并行、多功能合一的優(yōu)勢,如一個攝像機(jī)可同時支持電警、卡口、流量檢測等業(yè)務(wù)能力,而原來需要三個不同設(shè)備才能實現(xiàn),所以前端智能大大降低了工程實施的難度,提升了工程效率。
華為是軟件定義攝像機(jī)理念的提出者,堅定的踐行者。在XX智慧城市建設(shè)中,通過前端智能攝像機(jī)全部普及,極大的提升了前端數(shù)據(jù)采集質(zhì)量,智能分析效率提升10倍,智能可用效果提升數(shù)倍,整體TCO降低50%以上。
前端智能化已經(jīng)形成產(chǎn)業(yè)共識,業(yè)界主流廠家和用戶都在積極思考、參與和擁抱,華為提出了軟件定義攝像機(jī),其他有的廠家已經(jīng)跟進(jìn),有的提出了異曲同工的“場景化智能攝像機(jī)”等,形成良好的產(chǎn)業(yè)生態(tài)。而且相關(guān)的標(biāo)準(zhǔn)也逐步形成了業(yè)界共識。
視覺感知智能化,可以極大提升數(shù)據(jù)采集的質(zhì)量,同時降低后端數(shù)據(jù)處理的算力消耗,降低整體TCO,同時分布式處理也提升了系統(tǒng)可靠性。視覺感知智能化,從源頭影響數(shù)據(jù)的產(chǎn)生,支撐釋放海量視頻數(shù)據(jù)的價值,構(gòu)建物理世界的數(shù)字孿生。