Parallel Video Analytics

What is a good video surveillance recording system ? Is it simply a system that provides storage capacity, reliability and redundancy ?

Certainly not. At least not only. Indeed these qualities are necessary but the ability of the recording system to help finding near real-time events or forensic events is key. Too much time is lost searching for  specific excerpts and too few time is available when dramatic events happen.

That is where video analytics come in the loop.

Dealing with video analytics, one often refers to real-time alarm detection based on image analysis. A wide variety of algorithms have been proposed, some of them running on dedicated network appliances, reading a video stream and analysing it on the fly, some others directly running on the IP encoders and cameras boards.

Nevertheless, a different approach of video analytics is of high interest and has been proposed by some high end video surveillance vendors : the forensic analytics. While the algorithms remain the same, they are applied to a recorded stream instead of a live feed. Hence it is not about being alerted in real-time but about finding relevant video evidences using analytics as « filters » that help isolate images of  interest.

While forensic analytics prove to be an efficient ally in chasing relevant images in a video archive, it should not be forgotten that they usually require a lot of processing power. That is why, just like in the real-time analytics use case they are two different system architectures. The on-board or embedded forensic analytics run directly on the NVR (Network Video Recorder)  hosting the recorded video. This architecture is limited by the CPU power of the NVR server and that is one of the reasons why very few manufacturers propose NVR with embedded analytics and if they do, limit the number of concurrent filters. On the other hand, the dedicated video analytics server is hosted on a specific server, gets its video streams from the VMS (Video Management Server) and sends ananlysis results back to the VMS.

The latter architecture is way more scalable and maintainable but it has a major drawback, the NVR capacity to serve multiple concurrent stream requests from multiple analytic algorithms.

Industrial solutions like Agent VI, in cunjonction with VMS like Genetec Omnicast promise

« Apply an unlimited number of analytics rules of any kind and combination to each camera in parallel to the video recording. »

This is a very interesting value proposition, indeed.

Nevertheless, the bottleneck of such architecture remains the source of the video that will feed the analytics server. While the analytics servers cans be parallelized using as many of them as required, the video storage cannot be replicated. Hence, the solution to this resides in a storage system with massive concurrent access capacity, which opens a completely new field of investigation for the security systems architect. The industrial NVRs, inherently limited both by their bandwidth and by their processing power have to be replaced by a new storage system, able to centralize storage of huge numbers of streams and on the other hand to distribute a large number of video feeds to a large number of analytics servers.

This is the challenge that a company like Quantum has taken up with its StoNext system. StorNext is offering a filesystem interface with impressive scalability and performance, very well suited to video surveillance stringent requirements.

The StorNext Storage Area Network uses fiber channel block level technology and delivers a maximum throughput of 8Gbps that is instrumental to safe and efficient storage of thousands of cameras. It has been tested successfully during a certification process with Milestone VMS

Not only does StorNext simplify and streamline the management of the video storage, furthermore it allows moving transparently to a whole new paradigm of forensic and near real-time parallel video analytics that is urgently needed to absorb the gigantic video loads required by anti-terrorism and homeland security.

Food for thoughts.

Sécurité des Systèmes d’information et RGPD

Le « Phygital », ou le mélange du physique et du digital dans une gamme d’objets connectés toujours plus nombreuse, est porteur des plus belles innovations au service de l’humain mais aussi des risques inhérents aux technologies de l’information.

La France a une belle longueur d’avance, avec la Loi Informatique et Liberté de 1978 dans le domaine de la protection des libertés individuelles, mais on comprend mieux avec le récent règlement Européen pour la protection des données (RGPD/GDPR) a quel point les risques qui pèsent aujourd’hui sur nos données, pourraient entrainer des risques bien pires sur nos environnements physiques.

Il en va ainsi d’une usine qui s’arrête, d’une banque qui ne peut plus payer, d’une centrale électrique qui s’emballe ou d’un ordinateur qui refuse de démarrer.

La Cybernétique, ou communication dans les systèmes complexes vivants ou inertes, c’est l’art du réseau, depuis les grands câbles sous-marins jusqu’aux réseaux personnels Bluetooth, en passant par les fibres optiques et les transmissions hertziennes.

Le Cyber, cet environnement ultraconnecté, nous contraint à penser notre sécurité globale dans un treillis d’objets connectés où chaque ouverture sur le réseau est une opportunité d’obtenir un service et un risque d’être épié. Cyber aujourd’hui, physique demain, telle pourrait être la menace.

Cette présentation tente de faire le point sur l’état de la menace qui pèse sur les acteurs institutionnels comme sur les particuliers et donne des éléments de réponse parmi ceux accessibles aujourd’hui.

Dans la seconde partie, on détaille le RGPD, un des éléments de réponse, dans sa double dimension technique et juridique, en le mettant en opposition avec le CLOUD act décrété à peu près simultanément par les Etats -Unis d’Amérique.

Artificial Intelligence is not superseeding nor augmenting, it is bridging

Source: https://www.accenture.com/ie-en/blogs/blogs-making-safer-world-with-technology

 

AI is bridging the gap between edge and central operators reconciling field operators with human decision centres fueled by human-machine cooperation.

Design Thinking applied to new services in Public Safety

“We are moving to a new age of predictive policing where officers will work alongside machines to gather and analyse data to support police investigations and operations, ultimately helping to prevent and reduce crime and enhance security.”

Source: http://www.eolasmagazine.ie/overcoming-public-service-challenges/

WISIWYS© or generalised video presence

Dashcams, lightcams, bodycams, nannycams, refcams, dronecams, transported or wearable, smartphones, connected cameras:

What I See Is What You See (WISIWYS)

What is really announcing the French Prime Minister decision to systematize bodycams usage by French police forces, else than the new era of video surveillance, in sync with mobility new usages ?

dp-dp-cop-cameras-2-jpg-20151001
Bodycam

Sensors miniaturization, video encoding progress and SD card storage capacity increase have made possible mass sales of high definition action cams.  Like extreme sports adepts, cars, drones and even policemen now wear these video witnesses able to record hours of video and sound (24h a minima on a 32GO SDcard and soon twice as much if H265 meets the expectations). In the case of bodycams, the video is captured and recorded on the device, it has to be offloaded onto a large capacity external storage to be preserved and analysed. That is considerably increasing the volume of security video already needed for traditional stand-alone security cams. As an example, the 4500 bodycams that are supposed to be used by the French police over the next few months will require another round of 3 petabytes (3,000 terabytes).

0cams
4500 cameras
0TB
3 petabytes (3000 Terabytes)

This milestone of mobility in digital video illustrates in fact a real paradigm shift for video surveillance, the shift from a network centric video surveillance (IP video surveillance) to a storage centric video surveillance, storage being the indispensable source to preserve video and feed subsequent streaming and processing. This step of course holds a few technical challenges related to managing enormous amounts of centralized video and analysing it in preventive indexing or post event investigation. Nevertheless, it does not constitute the real revolution, the one that really changes the way people will operate. That revolution will be brought by high bandwidth wireless connectivity (LTE and up) that will allow real-time transmission of video to the operations centers from mobile wireless geolocated cameras on the field. 

This post describes the transformation happening in the technologies and operations of video surveillance while ip video surveillance is still ongoing. It explores mid-term and long-term consequences of video surveillance feeds mobility as they multiply the surveillance systems potential, providing them with adaptability, scalability and interoperability. 

Police DJI drone

Two recent examples will illustrate our talk from the recent terrorist attacks in Paris: first, the French Prime Minister to extend the use of body cameras worn by policemen; then the use of a DJI Phantom quad-copter drone by special police forces who assaulted and killed the three ISIS terrorists entranched in an appartment downtown Saint Denis, on the 18th of November 2015.

We will end this prospective study by a technology review, in an attempt to mesure the real expectations brought by the generalization of new usages of mobility, in terms of systems. As usually in security, the technologies are not usable until integrated into existing applications in a global and systemic view, centered around the human operator. To his extent, we will review the impact of new usages on the three technology pillars of video surveillance:  sensors, network and infrastructure.

Eventually, we will conclude by drawing a few perspectives toward this new video surveillance, the one which appears by transparency in the concept of co-production of security by private security firms and public authorities. We will unveil that the near future is rich of opportunities for companies that will understand the technology challenge, not for downsizing the security forces but to complement their action. It is albeit solely a prospective view and very abstracted from its legislative context, which remains coexisting to any development in the public security field.

The conditions of the rise of the new revolution of video surveillance

camera sensor
size decreases inversely from resolution

The detonating cocktail of innovation in Information Technologies contains three mandatory ingredients : miniaturization of sensor technologies, increase in storage and processing capacity and  Internet connectivity. This cocktail explains the fuss around the Internet of Objects (IoT), a new name for the well known concept of machine to machine (M2M). In the camera field, systematic use of one or two sensors per smartphone has brought new usages for shooting picture and video, for uploading them, for sharing them, that primarily only concerned private users but which ended up in new professional security applications and services.

 

Smartphone, the first mobile connected camera

Scientific community recently began studying impact of new video sharing uses in the context of urban security. The paper « UbiOpticon » from Urban Informatics Research Lab  of Queensland U. in Australia and from Urban Computing and Cultures Research Group of Oulu University in Finland, describe an analysis of a « participative » video surveillance.

Dashcam coyote
Dashcams are specialized Digital Video Recorders that record one or more cameras located in the car as well as other parameters like position, impacts, bumps, theft alarm, etc.

It is a fact, historically the first Internet Objects have actually been smartphones. Each of them is equiped with one or two sensors and loaded with Internet connectivity, storage and processing capacity. For a while now, they are many more cameras sold embedded in smartphones than in any other form. They are more smartphones than human being on earth yet… Beyond smartphones, video sensors miniaturization turned them in an embeddable comodity and gave birth to a new generation of « video augmented objects », able to record and sometimes transmit images: drones, wearable accessories (GLASSES, BODYCAM) and recorders (DASHCAMS, LIGHTCAMS). Mobility of these new cameras, but also their relative position  to the operator (policemen bodycam, smart glasses, drone cameras) draw new perspectives because user does not necessarily stream selfies but rather shares what he or she actually sees.

What I see is what you see

New services based on mobile video capture and sharing

Concurrently with the massive smartphones deployment, we have seen since 2006 the emergence of new video broadcasting services, in store and forward mode, but also in real-time. The usual video conference and video surveillance application segments have been completed with new uses geared toward video sharing.

The first applications able to share video from smartphones in real time over the Internet appeared a few years ago with companies like Qik created in 2006, which pioneered this field. Qik proposed an app freely available both on App store and Play store, to capture and send a video stream from a smartphone to a central server wher the video was recorded and broadcasted to a selected panel of friends, or to the public. Recorded videos could be viewed in private or public mode. As a comparison, the famous and excellent  Facetime service from Apple was only introduced by Steve Jobs 4 years after, in 2010 and would only allow two persons handling Iphones to hold a simple video conference meeting.

This comparison illustrates pretty well the rupture that cameras mobility and connectivity introduces compared with historic usages of video that are conferencing and surveillance, where cameras tend to be fixed and users in restricted number.

In the new « mobile video », the main objective is sharing. Real-time sharing or delayed sharing with a more or less large number of persons, in private or in public, opening new opportunities of services and raising the question of the range, the use and the security of such applications.

Qik has now vanished, acquired and ingested by Microsoft Skype in January 2011. The app was visionary and some other companies like Keek or Ustream (mentionned here under) have taken over the model today. This is this particular usage of video sharing in real time, named « Life Casting » in the US, which is brought by the major of video over Internet, Youtube, allowing users to operate a real « chain » on the Internet, with its live sessions and its recordings.

Ubiopticon Ustream system
UbiOpticon software architecture

In the Finish experiment detailed in the scientific article UbiOPticon, there is notably the Ustream service, used as one of the modules of the software architecture to stream videos from smartphones and mix them with video coming from surveillance IP cameras (webcams). Video streas are conveyed to the central Ustream server which records them and broadcasts them on the monitoring screens located purposedly in public spaces (bus stop) for the needs of the experimentation.

 

The last avatar of this application kind is  Periscope, an add-on for twitter, made from a start-up acquired by twitter in March 2015. The start-up tagline is saying it crisp and loud : « See the world through someone else’s eyes. ».

Loft story, Secret story, Big brother have also been precursors of this new wave of video sharing, albeit using the TV networks for being broadcasting fixed cameras located in the studios. 

Caméra piéton Exavision
Exavision bodycam

Today, authorities begin to use cameras mounted in cars and connected to the City control centers. Police forces will soon be equipped (in France) with body cameras which video will be recorded on the camera SD card before being offloaded to a central archival system to preserve the recordings. The legal frame must of course be defined before and clearly as the risk to infringe the privacy and individual liberties rights is high with such pervasive technologies.  Nevertheless, the generalization of such video witnesses, already largely used in North America, is a huge trend. This has created the increased need for powerful and unlimited storage management systems, able to record and process all the mobile video. 

Indeed, the number of cameras has sky rocketed and the nobody hopes to be able to view them all live. At best, we can analyse in real-time with sophisticated algorithms (video analytics). It is then mandatory to use a storage system not only capable of storing safely every camera but also to stream efficiently the recorded video up to the analytic processes and human operators. To this extent, the role of the storage system becomes central, relegating the network to a comodity role. This is the advent of the storage centric video surveillance, after the rise of the network centric video surveillance. We will see in the following that this new paradigm of storage centric video surveillance is accompanied by the birth of a new activity of « mobile video surveillance » which is embryonnic today but will most certainly represent the largest part of security systems in a few years from now. If today most of the cameras are stand-alone, we can foresee that when police and private security forces are fully equipped with body cameras and smart glasses, fixed cameras will become a minority as security video feeds.

As an early signal, one can notice that, during the recent tragic events that struck Paris, video and photo testimonials from the attacks have been used systematically by the media. That is how the social networks are taking a very important part in the homeland security and are considered by crisis management authorities as a highly valid open source of information.

Connectivity revolutionizes mobile video surveillance

In 2016, mobility does not systematically get along with real-time transmission because the broadband wireless data network is still expensive. For a few cameras on board of vehicles and able to transit their streams to Urban Control Centers, the vast majority of bodycams are still only portable DVRs. The same for drones, the entry level of video drones is only recording. First Person Video modules that allow to remotely pilot the drone are reserved to high end models like the one used in the assault against terrorists in Saint-Denis. Hence, the security video sources are more and more numerous but few are available live. The majority is only available in delayed mode.

However, connectivity revolutionizes mobility. By allowing the live sharing of images, the 4G networks open wide new cooperations between mobile cameras and Operation Centers. We can anticipate that over the 5 next years, the 4G+ mobile data network not only will allow the operation of large numbers of mobile cameras but will represent a worthwhile substitute to the wired network to connect new stand-alone cameras. The wireless broadband network as the main connectivity solution for the whole range of video surveillance edge equipments, stand-alone, on-board, mobile, there we see the revolution of that mobile interconnected video, in uses that will be derived  from it. Let’s analyse this new context.

Geolocation, redundance and  interoperability redefine mobile and interconnected video surveillance

The new paradigm:

Cameras move with operators as they are worn or remotely operated
Supervizor manages operators to cover blind spots or increase coverage of hot spots. They are selected by supervizors according to efficiency parameters like proximity, moving speed, availability. Operators on the field participate actively to security enforcement.
Operators bring cameras on identified events and threats to optimize situational awareness and decision making. Operators cooperate with supervizor and communicate about the situation witnessed by their video feed

The superviser is not any more the spectator of the event but the coordinator of video coverage. He manages convergence of video operators on the hot spots. The reactive surveillance based on fixed cameras is doubled by an active surveillance able to adapt to the threat and the situation. Video coverage can be adapted and optimized, even predictive, opening new opportunities for successfull cooperation with predictive policing applications where statistical anticipation of the situations and  hot spots location  are taken into account for optimizing the placement of police forces.

IT infrastructures are the new pillars of video surveillance

Challenges of this revolution of mobile video surveillance are clear: we must exceed the limits that have slowed down effcacity of traditional video surveillance as we know it today. We can name them:

  • insufficient coverage
  • difficulties to manage multiplication of video feeds
  • difficulties to analyse video and correlate information from different sources
  • marginal role of supervisor in video annotation and indexing
  • difficult coordination with operators on the field

Hence we must, in order to legitimate a technological response,  ensure the resilience of a broadband wireless network able to link together all the elements of his system, develop a server  infrastructure able to manage recording and analysis of all video feeds, develop analytic algorithms for image processing and data correlation that will enable leveraging the big data to bring a superior level of situational awareness. 

  • 100% BIG DATA
  • 100% STORAGE CENTRIC
  • 100% ANALYTICS
  • 100% WIRELESS

Conclusion: toward private-public security joint production

Such a system is at the forefront to anticipate and manage crisis with a reactivity and a scalability that far exceeds the biggest current video surveillance systems.

The private security companies, if the law permits it, can play a substantial role by equiping their intervention forces with authorities compliant devices. This way, we will see the massive deployment of sensors comparable to the smartphones, to which will be added the drones cams, the domestic cams, the smart glasses, the private dashcams and police cars cameras and last but not least the robot cameras that will, in the next 15 years significantly increase the list of potential evidence witnesses. The joint production of security between governments and private companies is thus potentially doubled by a possible uberization of homeland security, through a « crowd surveillance » effect. Moreover, on Europol site it can be read :

It is not enough for the police alone to fight crime. Reducing the risk and fear of crime is a task for the police and the community working together. To achieve our aim of making Europe safer, we need citizens who live here, work here and visit here to do their part in making life difficult for criminals. These pages contain basic information to help you contribute to the fight against crime by protecting yourself and your property. Follow these tips to prevent yourself from becoming a victim of crime…
Crime prevention advice, EUROPOL

The challenge for governments, assuming the global threat of terrorism, is thus in the necessary cooperation of public and private forces and in the delivery of infrastructures and services able to anticipate on the heavy industry and economic trends described here. Nevertheless, those challenges in terms of capacity and security of information systems must remain framed in a « security by design » approach which only will guarantee video streams authenticity but most importantly individual liberties.

WISIWYS© ou la vidéoprésence généralisée

Dashcams, lightcams, bodycams, nannycams, refcams, dronecams, caméras embarquées sur des véhicules ou portées sur les vêtements, téléphones, appareils photos connectés:

What I See Is What You See (WISIWYS)

Qu’annonce la récente résolution du premier Ministre français de généraliser l’usage des « caméras piétons », sinon une nouvelle ère de la vidéosurveillance, en phase avec les nouveaux usages de la mobilité ?  

dp-dp-cop-cameras-2-jpg-20151001
Smart Glasses – Lunettes connectées

La miniaturisation des capteurs vidéo, les progrès de l’encodage numérique et l’augmentation des capacités de stockage sur carte SD (Secure Digital) ont permis l’industrialisation des caméras sportives numériques de haute résolution. Comme les sportifs de l’extrême, les arbitres de rugby, les voitures, les drones et maintenant les policiers embarquent ces « témoins vidéo » capables d’enregistrer des heures de vidéo sonorisée (24h a minima sur une carte de 32GO et bientôt près de deux fois plus si l’on en croit les promesses du nouveau codec H.265). Dans le cas des caméras “piéton”, la vidéo captée et enregistrée sur l’équipement, doit pour être préservée être copiée sur un système d’archivage de grande capacité, augmentant considérablement les exigences de capacités de stockage déjà énormes liées aux caméras fixées des systèmes de vidéosurveillance traditionnelle. A titre d’exemple, les 4500 caméras piéton qui devraient entrer en activité en France sur les prochains mois enregistrent en 30 jours près de 3 Peta-octets de vidéo (3000 Tera-octets ou 3 millions de giga-octets).

0caméras
4500 caméras
0TO
3 Peta-octets (3000 Tera-octets)

Cette étape de la mobilité dans l’évolution de la vidéo numérique marque un changement de paradigme majeur pour la vidéosurveillance, on passe de la vidéosurveillance centrée sur le réseau à la vidéosurveillance centrée sur le stockage, élément essentiel de la préservation et de l’exploitation des flux de données. Cette étape comporte des challenges techniques, au plan de la gestion centralisée des enregistrements et de leur exploitation dans le cadre d’études ou d’enquêtes, pourtant il ne s’agit pas encore de la véritable révolution de la vidéosurveillance mobile, qui sera amenée par la transmission en temps réel de la vidéo mobile et geolocalisée via les réseaux hertziens vers les centres d’opérations.

Cet article détaille la transformation qui survient dans les techniques et les usages  de vidéosurveillance alors que la convergence de la vidéosurveillance vers IP est encore en cours. Il explore les conséquences à court et moyen termes de la mobilité des sources vidéo qui démultiplie le potentiel des systèmes de surveillance en les rendant adapatatifs, proportionnables et interopérables.

Un drone DJI Phantom utilisé par la police

Deux exemples récents viennent en appui de cette analyse à la lumière des événements récents : d’abord la décision du ministre de l’Intérieur Français de généraliser l’utilisation des caméras piétons portées par les forces de l’ordre. Ensuite l’utilisation d’un drône quadri-coptère Phantom de DJI par les groupes d’intervention qui ont éliminé les trois terroristes retranchés  à Saint Denis dans l’assaut du 18 novembre 2015.

Nous terminerons cette  prospective par un volet technologique en tentant de prendre la mesure des nouveaux besoins découlant de la généralisation des nouveaux usages de la mobilité, en terme de système, car comme toujours en sécurité, les nouvelles technologies ne sont exploitables qu’à partir du moment ou elles sont intégrées aux applications existantes dans une vision globale et systémique, centrée sur l’opérateur. Pour cela nous étudierons sur les trois volets technologiques de la vidéosurveillance, les capteurs, le réseau et les infrastructures, l’impact des nouveaux usages.

Enfin, nous conclurons en ouvrant des perspectives vers la nouvelle vidéosurveillance, celle qui s’annonce dans la droite ligne de la co-production de sécurité par les sociétés privées et les pouvoirs publics. Nous verrons que le futur proche est riche d’opportunités pour les entreprises qui sauront prendre à temps le train technologique, non pas pour suppléer mais pour compléter l’action de leurs effectifs humains. Il s’agit cependant d’une vision prospective largement abstraite par rapport au contexte legislatif nécessairement coexistant aux développements technologiques dans le domaine de la sécurité.

Les conditions d’apparition de la nouvelle révolution de la vidéosurveillance

camera sensor
La taille des capteurs inversement proportionnelle à leur résolution ?

Le cocktail détonant de l’innovation en technologies de l’information (IT) contient trois ingrédients indispensables, d’une part la miniaturisation des technologies de capture et de traitement de l’information (les capteurs), d’autre part l’augmentation des capacités de calcul et de stockage et enfin la connectivité qui permet de les relier à l’Internet. Ce cocktail est à l’origine de l’effervescence autour du concept de l’Internet des Objets (IoT) qui reprend et étend dans un nouveau contexte miniaturisé ce que nous connaissions déjà depuis une dizaine d’années sous l’appellation de M2M ou Machine to Machine.

Dans le domaine des caméras, la systématisation de l’utilisation d’un ou deux  capteurs vidéo sur chaque smartphone a créé des usages nouveaux de prise de vue, de retransmission instantanée, de partage qui ont d’abord marqué le grand public mais qui finissent par avoir un impact sur les technologies utilisées par les professionnels de la sécurité.

Le smartphone, première caméra mobile connectée

La communauté scientifique a commencé récemment à étudier l’impact de ces nouveaux usages de partage de vidéo en direct dans le cadre de la sécurisation des villes et l’on peut citer notamment l’article « UbiOpticon » du Urban Informatics Research Lab de l’Université de Queensland en Australie et du Urban Computing and Cultures Research Group de l’Université de Oulu en Finlande donnant un retour d’expérience sur un système de vidéosurveillance « participative ».

Dashcam coyote
Les dashcams enregistrent une ou plusieurs caméras situées dans le véhicule ainsi que d’autres paramètres comme la géolocalisation, les chocs, etc.

Les premiers objets de l’Internet ont été effectivement les smartphones. Chaque smartphone est équipé de capteurs et doté de capacités de stockage, de calcul et d’accès à l’internet. Depuis longtemps, il se vend plus de capteurs vidéo embarquées sur les smartphones que sous forme de simples caméras numériques. Il y en a déjà autant que d’être humains sur la planète. Au delà des smartphones, la miniaturisation des capteurs vidéo en a fait une commodité intégrable et à donné naissance à une nouvelle génération d’objets « vidéo augmentés » capables de capturer, enregistrer et parfois transmettre l’image :  les drônes, les accessoires vidéo (GLASSES, BODYCAM) et les enregistreurs portables (DASHCAM, LIGHTCAM).

La mobilité de ces nouvelles caméras mais aussi leur position relative par rapport à l’utilisateur (bodycams des policiers, Google glasses et lunettes connectées, caméras embarquées sur des drônes) ouvrent de nouvelles perspectives car l’utilisateur n’envoie pas nécessairement la vidéo de sa personne mais plutot la vidéo de ce qu’il voit. Ce que je vois, vous le voyez, ”What I See is What you See”.

De nouveaux services autour de la vidéo mobile

Simultanément au large déploiement des smartphones, on a assisté à l’émergence depuis 2006 de services de diffusion en différé de vidéos enregistrées mais aussi de diffusion en direct.  Les services de publication de vidéo en direct se développent sur les segments habituels de la vidéoconférence et de la vidéosurveillance auxquels se sont ajoutés de nouveaux usages orientés vers le “partage” en direct.

Les premières applications capables de partager de la vidéo issue de smartphones en temps réel sur Internet remontent à quelques années et des serveurs comme Qik, créé en 2006 ont été les pionniers dans ce domaine. Qik proposait une app sous Android et iOS, pour envoyer le flux video de la caméra d’un smartphone vers un serveur central qui le redistribuait en temps réel vers une population de contacts privés ou en mode public. Les vidéos étaient enregistrées sur les serveurs de Qik et pouvaient être visionnées en différé en mode privé ou public. En comparaison, le célèbre et excellent service de vidéoconférence Facetime pour iOS de Apple n’a été annoncé par Steve Jobs qu’en 2010, il ne relie entre eux que deux téléphones de la marque Apple et n’enregistre pas la vidéo.

Cette comparaison illustre bien la rupture que la mobilité des caméras entraîne par rapport aux usages historiques de la vidéo que sont la vidéosurveillance et la vidéoconférence où l’on utilise des caméras plutôt fixes et où les utilisateurs simultanés d’une vidéo sont en nombre restreint.

Dans la nouvelle vidéo “mobile” l’objectif principal est le partage. Partage en direct ou en différé avec un nombre plus ou moins grand de personnes en mode privé ou partage en public, ouvrant de nouvelles perspectives de service et posant la question de la portée, de l’utilité et de la sécurité de ces services.

Qik a aujourd’hui disparu, racheté par Skype en janvier 2011, l’application était visionnaire et d’autres sociétés comme Keek ou Ustream ont repris son modèle aujourd’hui. Cet usage particulier de la vidéo baptisé « lifecasting » aux US est porté par le major de la vidéo sur Internet, youtube, qui permet d’opérer une chaîne vidéo sur internet avec ses directs et ses enregistrements.

Ubiopticon Ustream system
Architecture logicielle UbiOpticon

Dans l’expérience Finlandaise relatée dans l’article scientifique UbiOpticon, on retrouve d’ailleurs le service Ustream utilisé pour acheminer la vidéo des téléphones portables utilisés comme caméras mobiles. Cette architecture logicielle permet le partage de flux vidéo en provenance de caméras IP (webcam) et de smartphones utilisant l’application Ustream. Les flux sont acheminés vers le serveur central de Ustream qui enregistre et diffuse ensuite les flux vers les écrans d’affichage situés dans les espaces publics (arrêt de bus) pour les besoins de cette expérimentation.

Le dernier avatar de cette génération est Periscope, une add-on de twitter, issu d’une start-up achetée par twitter en mars 2015. La tagline de l’entreprise est claire : « Explorez le monde à travers les yeux des autres ».

Loft story, Secret story, Big brother ont aussi été les précurseurs de cette vague de partage de l’information vidéo par  l’utilisation de caméras fixes retransmises en broadcast par les réseaux télévisés.

Caméra piéton Exavision
Caméra piéton Exavision

Aujourd’hui, les autorités commencent à utiliser des caméras embarquées dans des véhicules et reliées aux centres de surveillance urbaine (CSU). Les forces de police seront bientôt équipées de caméras piéton dont la vidéo sera enregistrée sur la carte SD de la caméra avant d’être copiée dans un système central de conservation des enregistrements. Le cadre légal doit bien sûr devancer l’ utilisation de ces technologies très pervasives car le risque d’atteinte aux libertés individuelles est toujours présent. Néanmoins le sens de l’histoire est bien la généralisation de ces témoins vidéo, déjà largement utilisés en Amérique du Nord. Cette tendance crée un besoin accru de systèmes de stockage puissants, capables d’enregistrer et de traiter la vidéo de tous les systèmes mobiles.

De fait, l’explosion du nombre de caméras rend illusoire l’espoir de les consulter toutes en temps réel. Au mieux, on peut analyser en temps réel avec des algorithmes sophistiqués (video analytics). Il faut alors un système de stockage non seulement capable de tout enregistrer mais aussi capable de restituer efficacement les enregistrements aux processus d’analyse de vidéo et aux opérateurs. Dans ce cadre, le rôle du système de stockage devient le rôle principal, reléguant le réseau au plan de commodité. C’est l’avènement de la vidéosurveillance centrée sur le stockage après la vidéosurveillance centrée sur le réseau. On va voir dans la suite que ce nouveau paradigme de la vidéosurveillance centrée sur le stockage s’accompagne de la naissance d’une activité de vidéosurveillance “mobile” qui est embryonnaire aujourd’hui mais représentera l’essentiel des systèmes de sécurité dans quelques années. Si aujourd’hui l’essentiel des caméras est fixé, on peut sans risque de se tromper pronostiquer que lorsque les forces de police puis de sécurité privée seront équipées de caméras piéton, les caméras fixées deviendront ultra minoritaires comme sources de vidéo de sécurité.

A titre d’argument on peut mentionner que dans tous les événements tragiques qui ont marqué la ville de Paris récemment, la présence de témoignages photo ou vidéo filmés par des caméras mobiles privées est systématique. C’est ainsi que les réseaux sociaux prennent une place importante dans  la sécurité intérieure et sont considérés comme des sources d’information de tout premier ordre par les autorités de gestion de crise.

La connectivité révolutionne la vidéosurveillance mobile

En 2016, la mobilité des caméras ne va pas forcément de pair avec une transmission en temps réel car le réseau de données mobile à très haut débit reste cher. Pour quelques caméras embarquées dans des véhicules et capables de transmettre leurs flux vidéo aux centres de surveillance urbaine (CSU), la grande majorité des caméras piétons ne sont encore que des enregistreurs numériques portables. Idem dans la large gamme des drones équipés de vidéo, l’entrée de gamme reste basée sur des enregistreurs d’image ou de vidéo sur carte SD. Les modules de transmission de vidéo en temps réel qui permettent de voir ce que voit le drone en direct et de le piloter en mode FPV (first Person Visual) sont réservés au haut de gamme comme le Phantom de DJI utilisé durant l’assaut à Saint Denis. Ainsi les sources vidéo exploitables pour la sécurité sont plus nombreuses mais peu sont disponibles en direct. La grande majorité du volume de vidéo de sécurité n’est accessible qu’en différé.

Pourtant c’est bien la connectivité qui révolutionne la mobilité. En permettant le partage en direct des images, les réseaux de données hertziens 4G ouvrent vers de nouvelles coopérations entre les caméras mobiles et les centres de supervision. On peut anticiper que sur les 5 années qui viennent le réseau mobile 4G+ non seulement permettra l’exploitation de caméras mobiles en grand nombre par les CSU mais représentera aussi une alternative au réseau filaire (fibre, DSL) pour le raccordement des caméras fixées. Le réseau très haut débit hertzien comme principal outil de connectivité pour l’ensemble des équipements de vidéosurveillance, fixée, embarquée, mobile. Là, on perçoit la révolution de cette vidéo mobile et connectée, dans les usages qui en seront faits. Analysons ce nouveau contexte.

Géolocalisation, redondance et interopérabilité redéfinissent la vidéosurveillance mobile et connectée

Le nouveau paradigme de la vidéosurveillance mobile s’écrit dans le sillage de ces évolutions:

Les caméras bougent avec les opérateurs puisqu’elles sont portées ou télécommandées
Le superviseur gère les opérateurs pour couvrir les zones aveugles ou les zones critiques insuffisamment visibles. Les opérateurs sont choisis par les superviseurs en fonction de paramètres d’efficience comme la proximité géographique, la disponibilité ou leur vitesse de déplacement. L’opérateur sur le terrain participe activement au maintien de la sécurité. 
Les opérateurs amènent les caméras sur les événements ou les menaces identifiés pour optimiser la perception situationnelle et la prise de décision. Les opérateurs coopèrent avec le superviseur et communiquent à propos de la situation couverte par leur flux vidéo.

Le superviseur n’est plus le spectateur de l’événement mais le coordinateur de la couverture vidéo. Il assure la convergence vers les zones sensibles des opérateurs les mieux placés. La surveillance active basée sur les caméras fixées se double d’une surveillance réactive capable de s’adapter à la situation. La couverture vidéo est adaptable et optimisée, elle peut même être préventive, ouvrant la voie à une coopération fructueuse avec les applications de predictive policing où l’anticipation statistique des situations et des zones à risques est prise en compte pour le déploiement des forces de maintien de l’ordre.

Les infrastructures IT sont les pilliers de la nouvelle vidéosurveillance

Les enjeux de la révolution de la vidéosurveillance mobile sont clairs: il faut dépasser les obstacles qui ont freiné l’efficacité de la vidéosurveillance traditionnelle, celle que nous connaissons aujourd’ hui. On peut les nommer:

  • insuffisance de la couverture,
  • difficulté à gérer la multiplication des sources,
  • difficulté à analyser la vidéo et à corréler les informations extraites de différentes sources,
  • rôle marginal de l’opérateur dans l’indexation des enregistrements,
  • difficile coordination avec les forces sur le terrain.

Il faut donc, pour assumer une réponse technologique, assurer la résilience d’un réseau hertzien capable de relier tous les éléments de ce système, développer une infrastructure serveur capable de gérer l’enregistrement et l’analyse de l’ensemble des sources vidéo, développer les algorithmes de traitement des images et de corrélation d’information qui permettront de faire levier sur le big data pour apporter un niveau supérieur de prévention situationnelle.

  • 100% BIG DATA
  • 100% STORAGE CENTRIC
  • 100% ANALYTICS
  • 100% WIRELESS

Conclusion: vers la co-production de sécurité

Un tel système se trouve aux premières loges pour participer à l’anticipation et à la gestion des crises avec une dynamique et une capacité d’adaptation qui dépasse de loin celles des grands systèmes actuels de vidéosurveillance.

Les sociétés de sécurité privée, si la loi le leur permet, peuvent jouer un rôle prépondérant en équipant leurs forces d’intervention avec des équipements interopérables avec les systèmes des pouvoirs publics. Ainsi on assistera à une multiplication des capteurs comparable à celle des smartphones, à laquelle viendra s’ajouter celle des drônes, mais aussi celles de caméras domestiques, des caméras portables, des caméras embarquées dans les voitures personnelles et dans les véhicules de police. Il faudra ajouter à cette liste les caméras portées sur les robots qui ne manqueront pas dans les 15 années qui viennent de se doter des capteurs nécessaires à leur intégration réussie dans notre quotidien. La co-production de sécurité entre l’état et les sociétés de sécurité privée se double donc d’une possible ubérisation de la sécurité intérieure par la coopération avec le public dans ce qui pourrait être nommé la “crowd-surveillance”. Sur le site de Europol on peut d’ailleurs lire :

It is not enough for the police alone to fight crime. Reducing the risk and fear of crime is a task for the police and the community working together. To achieve our aim of making Europe safer, we need citizens who live here, work here and visit here to do their part in making life difficult for criminals. These pages contain basic information to help you contribute to the fight against crime by protecting yourself and your property. Follow these tips to prevent yourself from becoming a victim of crime…
Crime prevention advice, EUROPOL

Le challenge pour les états, compte tenu de la globalisation du terrorisme, tient donc dans la nécessaire coopération des forces et dans la mise à disposition d’infrastructures et de services capables d’anticiper ces tendances lourdes de l’industrie de la sécurité privée mais aussi du grand public et de l’économie. Cependant les challenges en termes de capacité et de sécurité des systèmes d’information doivent rester à l’esprit dans la construction de ces systèmes par une approche “security by design” qui garantira l’authenticité des flux vidéo mais aussi la protection des libertés individuelles.

Parallel Analytics

What is a good video surveillance recording system ? Is it simply a system that provides storage capacity, reliability and redundancy ?

Certainly not. At least not only. Indeed these qualities are necessary but the ability of the recording system to help finding near real-time events or forensic events is key. Too much time is lost searching for  specific excerpts and too few time is available when dramatic events happen.

That is where video analytics come in the loop.

Dealing with video analytics, one often refers to real-time alarm detection based on image analysis. A wide variety of algorithms have been proposed, some of them running on dedicated network appliances, reading a video stream and analysing it on the fly, some others directly running on the IP encoders and cameras boards.

Nevertheless, a different approach of video analytics is of high interest and has been proposed by some high end video surveillance vendors : the forensic analytics. While the algorithms remain the same, they are applied to a recorded stream instead of a live feed. Hence it is not about being alerted in real-time but about finding relevant video evidences using analytics as « filters » that help isolate images of  interest.

While forensic analytics prove to be an efficient ally in chasing relevant images in a video archive, it should not be forgotten that they usually require a lot of processing power. That is why, just like in the real-time analytics use case they are two different system architectures. The on-board or embedded forensic analytics run directly on the NVR (Network Video Recorder)  hosting the recorded video. This architecture is limited by the CPU power of the NVR server and that is one of the reasons why very few manufacturers propose NVR with embedded analytics and if they do, limit the number of concurrent filters. On the other hand, the dedicated video analytics server is hosted on a specific server, gets its video streams from the VMS (Video Management Server) and sends ananlysis results back to the VMS.

The latter architecture is way more scalable and maintainable but it has a major drawback, the NVR capacity to serve multiple concurrent stream requests from multiple analytic algorithms.

Industrial solutions like Agent VI, in cunjonction with VMS like Genetec Omnicast promise

« Apply an unlimited number of analytics rules of any kind and combination to each camera in parallel to the video recording. »

This is a very interesting value proposition, indeed.

Nevertheless, the bottleneck of such architecture remains the source of the video that will feed the analytics server. While the analytics servers cans be parallelized using as many of them as required, the video storage cannot be replicated. Hence, the solution to this resides in a storage system with massive concurrent access capacity, which opens a completely new field of investigation for the security systems architect. The industrial NVRs, inherently limited both by their bandwidth and by their processing power have to be replaced by a new storage system, able to centralize storage of huge numbers of streams and on the other hand to distribute a large number of video feeds to a large number of analytics servers.

This is the challenge that a company like Quantum has taken up with its StoNext system. StorNext is offering a filesystem interface with impressive scalability and performance, very well suited to video surveillance stringent requirements.

The StorNext Storage Area Network uses fiber channel block level technology and delivers a maximum throughput of 8Gbps that is instrumental to safe and efficient storage of thousands of cameras. It has been tested successfully during a certification process with Milestone VMS

Not only does StorNext simplify and streamline the management of the video storage, furthermore it allows moving transparently to a whole new paradigm of forensic and near real-time parallel video analytics that is urgently needed to absorb the gigantic video loads required by anti-terrorism and homeland security.

Food for thoughts.