*行業一直是安防技術應用的前沿市場,在安防領域,目前對于*大數據的應用方式,可以分為以下三個層次:
1、統計查詢:這是對大數據zui基本的應用方式,主要面向歷史與現狀,回答已經發生了什么事情,如流動人口分區域統計、實有車輛歸屬地統計、各類案件的數量分布和趨勢。
2、數據挖掘:是目前大數據的核心應用方式,其重點不在于發現因果,而是發現數據之間的關聯關系。這種關系可能可以直觀解釋,也可能不能馬上發現其中的深層次原因,但對工作具有一定指導意義,比如季節氣候與某些類型案件的關聯關系、車輛活動范圍、活動習慣與黑車的關聯關系。
3、預測預判:是大數據應用未來的發展方向,在數據統計、分析、挖掘的基礎上,建立起合適的數據模型,從數據的關聯關系入手,推導出因果關系,能夠對一定時期內的趨勢走向做出預測,對危險信號做出預警,指導預防工作的走向。
這三個層次具體到實際業務系統,包括圖偵、車輛特征分析系統、人員特征分析系統、視頻偵查系統等等。這些系統以普通視頻監控、車輛/人員卡口、智能IPC等監控前端獲取的視頻、圖片、結構化描述為基礎,通過大數據平臺的智能分析,實現如以圖搜圖、語義搜圖、車輛/人員布控、疑似案件對比、詳細特征分析等等深度大數據應用,幫助*能夠快速、科學地偵破案件。
*大數據應用于不同警種,由于其實際應用需求的區別,解決的問題也有所區別。如智能交通領域,目前大數據主要應用于車輛的疏導,比如基于不同道路、路口車流量的統計(時、日、月統計等),根據這些統計可以分析不同時段某條道路實時的車流密度、發展方向和趨勢等。這些應用目前已在很多大城市落地,比如平時大家在公交上看到移動電視里播放的上下班高峰路段實時畫面,就是基于大數據的技術分析所得。
*大數據應用的構建方式與難點
以車輛分析系統為例,介紹如何在平安城市大數據平臺上構建應用:
1、數據的來源與構成
基于大數據平臺的車輛分析系統,其數據可分為靜態數據與動態數據。靜態數據主要來源于車駕管庫、盜搶庫、布控車輛庫、涉案車輛庫等*業務系統的資源情報類數據庫,這些數據構成了車輛數據倉庫的核心庫。動態數據主要是來源于卡口聯網平臺,其數據可分為結構化的卡口通行數據與非結構化的卡口過車圖片,這些數據隨著時間的推移而不斷增長,構成了車輛數據倉庫的中心庫。來自于其他設備如槍機、球機等視頻監控設備抓拍或截取的車輛圖片,來自于系統外的車輛圖片,構成了車輛數據倉庫的外圍庫。
2、數據的存儲
對于核心庫的車輛靜態數據,通常都是存儲于關系型數據庫中。對于中心庫的卡口通行數據,則存放在面向列的高可靠高性能分布式數據庫HBase中,其中實時過車記錄部分,因其查詢量大且更新速度快,放置在內存中以優化吞吐量,降低系統I/O負荷。外圍庫的車輛圖片數據,則存儲在類似于IPSAN這樣的普通存儲空間內。
3、數據的結構化與搜索查詢
對于卡口過車圖片這樣的海量非結構化數據而言,為了實現數據的檢索,必須通過智能分析技術對其進行結構化并入庫,從卡口圖片中提取出車牌顏色、車身顏色、車標、細分車型等傳統卡口前端不能提供的結構化信息并存儲在HBase中。
在對數據進行結構化以后,系統設計的大數據搜索引擎可以提供多種條件的簡單檢索和復合檢索,這些條件包括時間、地點、車標、細分車型庫等等;同時,基于車輛號牌的模糊搜索、混淆搜索(如“B”和“8”、“V”和“U”、”2”和”Z”等)功能為車輛分析系統的后續應用奠定了基礎;此外,通過與核心庫數據的對接,在查詢過程中可以自動調出車輛關聯的車主信息、駕駛員信息、事故/ 違法信息等。
4、數據的挖掘分析與應用
在經過數據的結構化后,結合平臺提供的GIS引擎,我們可以方便的對其進行各種類型的統計,為交通、刑偵等部門提供服務。這些統計報表包括路段路口的流量統計、車輛歸屬地統計、路段平均行程時間統計、路網交通流量統計、車輛出行規律統計等等。
利用卡口圖片結構化的成果以及與車輛核心庫的對接,系統可以提供一套達到實戰水平的假套**應用。該應用可以進行假牌、套牌、輪換車牌等涉牌違法行為的分析,同時可以區分套牌車輛與被套牌車輛,更加地打擊違法車輛。
利用卡口通行數據的挖掘分析,結合*干警多年工作經驗的智慧結晶,系統提供一系列的卡口技戰法,供用戶在不同場景下使用。這些技戰法包括:車輛尾隨跟蹤分析、團伙車輛分析、晝伏夜出車輛分析、區域徘徊車輛分析、區域車輛頻次分析、車輛活動區域分析、路徑匹配分析、頻次變化分析等十多種。
5、數據的展示
利用平安城市大數據平臺所提供的展示框架,車輛分析系統的應用功能既可以整合在平臺框架中,與其他系統構成一套完整的平安城市解決方案,提供統一的訪問界面與接口,也可以作為現有卡口聯網應用系統的功能增強模塊單獨部署,提供單獨的訪問界面與接口。
準確率與適用性,*大數據應用的市場競爭點
誠然,如人臉識別、車輛識別等大數據技術已在安防市場中有所應用,通過對視頻進行智能分析、有效信息的結構化數據提取,讓視頻監控的使用者真正告別人工安防,走進自動安防的新時代也是目前安防行業共同的追求。但是,*大數據的應用還遠未成熟,準確率與適用性將決定誰在不久的未來脫穎而出。
先是準確率,以人臉分析技術為例。所謂人臉識別的“準確率”,是指基于*zui的人臉數據庫LFW進行比對測試的成績。LFW由美國馬薩諸塞大學阿默斯特分校管理,可以認為是一個考察深度學習系統人臉識別能力的“題庫”,它從互聯網上提取6000張不同朝向、表情和光照環境下的人臉照片作為考題,可以讓任何系統在里面“跑分”。跑分過程如下:LFW給出一組照片,詢問測試中的系統兩張照片是不是同一個人,系統給出yes或no的答案。99%的準確率,意味著在測試的所有題目中,人臉識別系統答對了99%的題目。
問題的關鍵是LFW以及類似數據庫FDDB等,只是一個純粹實驗室級別、學術性質的測試工具,在樣本量可能達到十萬級、的實際商業場景下,測試得分高的系統不一定能保持已有成績,其誤識率將直線上升,甚至可能根本沒法用。部分真實復雜場景測試中,十萬分之一的誤識率下,98%的人臉識別準確率會直線下降到70%左右。借助人臉識別等智能分析技術,將非結構化數據轉化為結構化數據是后續大數據應用的基礎,所以,從目前的智能分析水平而言,準確率仍將是很長一段時間內安防業共同的追求。
其次是適用性,這里的適用性主要指安防廠商對用戶的了解程度,涉及到應用建設的設計到實現的各個方面,各個功能模塊是否是用戶真正的關注點、系統操作方式是否真正方便用戶等等,直接決定了用戶對應用系統的體驗感,這主要取決于安防廠商的行業、實際項目積累。當然,無論是準確率還是適用性,都無法改變大數據應用成為*業務應用未來的方向。