大数据在视频监控存储的使用与应战

   
   作为云年代海量数据的来源之一，安防视频监控职业跟着才智城市和智能交通的疾速开展、移动互联设备的疾速激增，发作了海量的非结构化视音频数据，带动了大数据的存储、办理、剖析等使用。面向云年代，业界同仁蜂拥而至、热血沸腾，无论是IT供货商、存储厂商、仍是处理方案供给商都不甘落后，雨后春笋般的纷纷提出根据核算、存储、网络等多层次虚拟化的数据中心处理方案，投入很多资本，推出云存储、云核算等体系商品。

   
   面对大数据，视频监控职业面对哪些难题?咱们怎么使用云核算、大数据有关技能来获取数据背面隐含的信息?将来的应战和远景怎么?我将从以上几方面发表个人观点，意在抛砖引玉、引发业界同仁在工业开展的进一步考虑和评论。

   
一.视频监控存储及智能剖析体系中的难题

   
   根据IDC猜测，全球在2010年已正式进入ZB年代，全球数据量大概每两年翻一番，意味着人类在最近两年发作的数据量相当于之前发作的悉数数据量。爆破式添加的数据，正推进人类进入大数据的年代。

   
   大数据包括交际媒体、移动设备、科学核算和城市中布置的各类传感器信息，其间视频是构成数据体量最大的组成部分。据IMSResearch核算，2011年全球摄像头的出货量到达2646万台，估计到2015年摄像头出货量达5454万台。一天发作的视频监控数据超越1500PB,而累计历史数据将更为无穷，在视频监控大联网、高清化推进下，视频监控事务将面对海量非结构化数据存储、数据同享、数据安全及数据使用四大难题。

   
   (1)海量非结构化数据存储

   
   安防职业的大数据现在首要来源于才智城市和智能交通等大型安防项目。例如，2011年全球两天的数据就高达1.8ZB，相当于文明开始到21世纪初悉数的数据总和;2013年我国某一线城市一个季度发作的数据总量也在200PB。当时，才智城市建造已变成地方政府推进城镇化开展的重要途径，而跟着才智城市的开展，对高清摄像机和智能化监控设备的需要会继续添加，智能交通职业将变成十二五政府出资的要点范畴，这将使将来几年视频监控职业仍坚持高景气度。此外跟着智能家居、民用安防的遍及，更多的用户会经过移动设备监看视频，于此一同会有更多的移动互联数据发作。2012年全国就具有3.88亿移动互联网用户，估计2015年互联设备将到达150亿，2020年互联设备将到达2000亿。数据10倍速的添加，在带来无穷机会的一同，也带来了很大的应战。

   
   依照IT工业的规律：在满意客户需要的条件之下，通常技能本钱越低，其生命力通常越强。由于数据量的急速扩大，以及随之而来的大规划核算的需要不断添加，一味选用高配硬件，使得硬件出资变成客户不行承受之重。怎么在满意需要的条件下，删除重复数据、下降硬件本钱出资将变成海量非结构化数据存储的一个难题。

   
   (2)数据同享

   
   大数据需要经过疾速的采集、发现和剖析，从很多化、多种类的数据中获取价值。安防大数据年代最明显的特征即是海量和非结构化数据同享，用以前进数据处理才干。比方天网工程和智能交通即是最具代表性的案例，天网工程通常分为省市县乡镇等多级架构，智能交通图画也散布在前端卡口、区节点、市省国家级中心中，海量数据存储在不一样节点、不一样设备中，这给传统的数据办理和使用机制带来了极大的应战。

   
   与科学核算、互联网相比，视频监控的大数据处理难度尤大，首要，视频录像是更初始的非文本非结构化的数据，必须经过杂乱繁重的剖析处理才干获取出文本结构化的数据进行下一步处理;其次视频录像相对其它方法数据的容量要大几个数量级，对传输、存储和核算的带宽请求大。因而咱们说数据高效同享是第二大难题。

   
   (3)数据安全

   
   安全城市、才智城市的建造促进安防云存储技能的使用，才智城市一大请求即是将视频存储数据相互之间进行联动、同享，例如在违法追寻时，公安、交通、民用职业等多规划的存储数据能够同享，而这种同享具有了云存储的特性;传统的存储技能无法满意社会开展需要，云存储的在安防范畴的使用变成必定。

   
   安防视频监控数据具有私密性高、保密性强的特色，不仅是过后清查的根据、而且更是后续数据剖析发掘的基础。因而咱们说数据安全一方面是指不受到外界数据的侵略和不合法获取、另一方面是指无穷体系的鲁棒性、体系容错机制，保证硬件软件发作故障时，数据仍然能够康复、得以保留。面对海量数据的存储、同享，硬件和软件设备承载了极大的危险，因而咱们怎么构建大型、海量视频监控存储体系、数据剖析体系以及容错冗余机制是第三大难题。

   
   (4)数据使用

   
   摄像头7X24小时作业，照实记载镜头掩盖规划的发作的全部，仅仅记载信息是不够的，由于关于客户来讲也许大部分信息是无效。数据的有用性分为两个方面，一方面有用信息也许只散布在一个较短的时间段内，依照数学核算的说法，信息是呈现幂律散布的，也称为信息的密度，通常越高密度的信息对客户价值越大;另一方面是指深层次发掘无穷的海量数据，有关得出有用信息。

   
   视频监控事务网络化、大联网后，网络内的设备不断添加，使用搁置的核算资本，完成资本的最大化使用，关乎运算的功率。在视频监控范畴，通常视频剖析的功率决议价值，更低的推迟、更精确的剖析通常是安全城市这类客户的遍及需要。跟着数据量的添加，哪怕对TB等级的数据进行对视频内容的数据剖析和检索，选用串行核算的形式都也许需要花费数小时的核算，已远远不能担任时效性的需要。视频的剖析和检索，不能依赖于传统的手法，巨量数据的功率优化，并行核算也许是处理疑问的方法。

   
二.云核算及大数据对视频监控带来的改动

   
   大数据概念最早呈现在20世纪60年代初，跟着互联网的疾速建造和信息技能的迅猛开展，到20世纪90年代中后期，数据中心的建造规划和效劳器数量每年都以惊人的速度添加。跟着信息中心、效劳中心、数据中心等各类事务使用及数据量的不断添加，数据仓库、数据发掘、联机剖析等技能开展，数据存储容量的需要也成正比的添加。

   
   云核算、云存储和大数据将对视频监控职业带来存储架构、虚拟化、安全和高效处理四个方面的改动。

   
   首要，大数据呈现出的典型特征是4个V：规划(volume)、速度(velocity)、类型多(variety)、价值密度低(veracity)。大数据的特征对存储容量的整体具有量需要激增，海量存储形式也从传统的会集存储式架构开展到散布式存储架构，这种散布式架构，在多副本、网络RAID技能、快照技能驱动下，完成海量存储的高牢靠、大并发才干，推进了存储从设备供给形式到效劳形式的晋级和转变。

   
   其次，虚拟化技能在存储效劳才干建造大将继续不断开展，晋级形式从SCALE-UP向SCALE-OUT形式开展，为无处不在的存储资本的调度与办理、存储资本的在线扩容晋级、数据继续保护、存储效劳不间断等完成有力的支持。虚拟化，一方面大大简化使用环节，节省客户建造本钱，一同供给更强的存储和同享功用;另一方面处理了存储空间的浪费，能够主动重新分配数据，前进了存储空间的使用率，一同具有负载均衡、故障冗余功用。

   
   再次，安全方面实时核算和存储，对存储设备功能、存储网络功能、存储资本配置简化性请求越来越高。在杂乱的存储效劳中，根据虚拟化所构建的混合存储体系，体系的主动分层存储才干尤为重要。随同闪存的本钱不断下降的商场，商场上也有根据全闪存阵列商品的呈现，根据虚拟化下的存储资本主动化分层，完成数据分层存储，并迁移的战略，对大数据实时性、安全性愈加不行或缺。

   
   最终，面对结构化数据、非结构化数据、半结构化等元数据的处理机制，云存储办理能够完成主动化和智能化，全部的存储资本被整合到一同，客户看到的是单一存储空间，前进了存储功率;云存储能够完成规划效应和弹性拓展，下降运营本钱，防止资本浪费。受限于安防视频监控本身事务的特色，监控云存储和现有互联网云核算模型会有区别，如安防用户倾向于视频信息存储在本地、政府视频监控使用对比灵敏、视频信息的隐私疑问、视频监控对网络带宽耗费较大等疑问。海量数据存储的检索、目录效劳、去重化都将在以大数据触动的存储使用中，给存储工业带来新的开展机会。

   
三.使用及推行过程中的应战

   
   云核算和大数据在使用和推行过程中仍然会面对一系列技能难关的攻克和体系的树立。比方视频监控职业中最为重视的：

   
   视频浓缩检索技能，首要是使用图画处理(包括视频浓缩、摘要、恢复等)、形式辨认、海量数据分类存储以及查找等技能，对海量的存储录像等初始信息进行剖析和发掘，关于方针特征、方针行动、方针间有关联系这三大类信息内容，构成各种分类的特征信息库、元数据和索引等，并供给一致接口供外部使用进行查找，以期经过有限的头绪，到达案子疾速有关和定位。

   
   视频图画信息库建造，现在使用对比广泛的是卡口和电警的使用。由于车牌辨认技能的日趋成熟，经过车牌、车牌色彩、车身、车身色彩、车辆类型等特征辨认，把车辆图画、车辆信息、车主信息、盗抢车辆库等结合起来，能够有用的进行车辆的查找、布控和案子头绪查找。

   
   海量数据的处理、剖析、检索和视频智能剖析技能，把海量的视频数据进行浓缩、获取特征摘要、减少了存储空间。如1小时的视频录像，经过特征值方法的视频浓缩，能够把录像压缩到10分钟摆布。一同，视频图画信息库有别于传统的联系数据库模型，针对结构化，半结构化和非结构化数据，经过数据的多个副本散布式保留方法，能够有用节省存储空间，要害数据的二次备份，使体系架构愈加安稳和可拓展，而且供给安全的负载均衡和容错机制。

   
四.远景展望

   
   云核算和大数据使用将来必然对安防职业有深入的改动和影响。尤其在才智城市职业和交通职业。交通方面海量数据处理需要，智能交通办理体系能够在海量数据、恶劣网络环境和杂乱事务处理情况下，完成很多图画、车辆数据、视频数据的不时网络传输和疾速耐久化存储，一同对恣意站点的图画进行显现，对恣意站点的视频进行流通播映、实时进行比对报警，疾速进行多条件检索，而且将各类多媒体数据和车辆数据合二为一。体系完成对现在的城市道路交通中反常行动的智能辨认和主动报警等，然后减轻了交管监控人员的作业担负，前进了监测的精确度，使得交通办理作业更高效。实时交通状况剖析可经过视频实时剖析道路交通流量，然后综合剖析核算出全城市的交通状况;套**可经过视频进行车牌辨认，依照必定的规矩(如最近时间内必定距离以外)在全城市中检索相同车牌的轿车。

   
   才智城市方面公安部门能够使用有关技能进行违法嫌疑人清查，可经过输入嫌疑人相片进行人脸特征辨认并在全部视频中寻找该人脸;违法嫌疑车辆清查可输入嫌疑车的相片或色彩车型等有关特征在全部视频中寻找;人车物的轨道剖析即在全部视频中依照特征查找指定的人车物并绘制其时空轨道;车辆的初次入城剖析等等。

   
结语

   
   高清化、网络化和智能化的安防职业在新的纪元中，虽然会面对这么那样的疑问，可是我信任跟着云核算和大数据使用技能的成熟和完善，职业必然会更疾速的开展。云年代的到来已为咱们指明晰方向，云核算和大数据技能就像是翻开不知道国际之门的钥匙，让咱们能够愈加经济的进行体系建造，愈加高效的进行数据剖析，愈加有力的推进社会的前进和开展。