多用户多视窗机载光电监视系统在城市反恐中的应用研究*

刘国栋,张卫国,范鹏程,徐晓枫,王马强

(西安应用光学研究所·西安·710065)

摘要作为主要财富的集结区、战争潜力的潜藏区、国家安全重要的战略地带,城市已成为现代战争的主要战场。通过分析传统机载光电侦察系统在城市反恐中的局限性,阐述了多用户多视窗机载光电侦察系统在城市应用中的前景,并通过对多视窗多用户机载光电侦察设备工作原理的分析,特别是对其中的多用户多视窗技术原理的分析,提出了一种可行的、多用户多视窗光电侦察系统研制方案,为类似产品的研制和应用提供了参考。同时结合当前的人工智能技术,分析了图像自动识别技术在其中应用的可行性,以便在海量信息中筛选出威胁目标并进行实时跟踪,大大提高了侦察监视的效率。

关键词机载光电;多视窗;多用户;人工智能;图像自动识别

0 引 言

随着科技的发展,现代战争越来越倾向于信息战、电子战、空地联合、立体打击等,发生大规模野战的可能性较小。城市作为主要财富的集结区、战争潜力的潜藏区、国家安全重要的战略地带,已成为现代战争的主要战场。美军在二战后进行的250多次对外军事干涉中,有90%涉及到了城市。在车臣战争中,俄军90%的伤亡发生在攻打车臣首府格罗兹尼市区的作战中。20世纪80年代以来发生的两伊战争、海湾战争、科索沃战争、阿富汗战争、伊拉克战争、利比亚战争等局部战争,双方军事行动的焦点均直指城市。在和平年代,大规模战争已渐行渐远,而反恐、解救人质等城市作战则成为了和平年代的主战场。

在城市反恐作战中,林立的地面建筑及钢筋混凝土阻碍了地面无线信号的传输,不利于攻方情报的收集及大规模的部队指挥,需利用机载光电侦察系统的高位优势进行监视;地面建筑及人员复杂密集、热点事件众多,由于传统光电侦察系统的局限性,要实现多区域、多目标的实时详察较为困难,而要启用多个空中平台、联合执行任务,涉及的任务和区域规划又相当复杂。因此,城市反恐作战对多视窗多用户光电监视系统的需求应运而生[1]

1 城市反恐作战对光电监视系统的需求

传统的机载光电侦察系统主要可分为三类[2]

第一类是航空相机,其具有侦察区域广、分辨率高的优点,但其帧率较低,不具备对运动目标的跟踪能力。典型产品如Goodrich公司的DB-110光电侦察吊舱(如图1所示),其通过稳定平台横滚轴和俯仰镜进行摆扫运动,可实现方位为180°、俯仰角为±20°的宽覆盖扫描成像。

图1 DB-110光电侦察吊舱
Fig.1 DB-110 electro optic reconnaissance pod

第二类是光电瞄准吊舱,其具有分辨率高、帧率高、能够跟踪运动目标等优点,但其视场较小,不具备对广大区域、多个目标的监视能力,不能对多个目标进行监视,缺乏对战场全局状态的感知能力。典型产品如洛马公司研制的AN/AAQ-30 TSS瞄准转塔,如图2所示。它主要由陀螺稳定平台、前视红外、彩色电视摄像机、激光测照器、激光光斑跟踪器、惯性测量单元、光轴校准模块和电子单元组成。

图2 AN/AAQ-30 TSS瞄准转塔
Fig.2 AN/AAQ-30 TSS targeting turret

第三类是扫描型的光电广域监视系统,它兼顾了相机与瞄准吊舱的优点,但不具备对多个目标的实时监视和跟踪能力。其工作原理如图3所示[3]。在广域搜索模式下,它可实现大范围扫描,但对同一区域的重访需要分钟级的时间,缺乏实时性;将其切换到跟踪模式后,它又会失去大区域的监视能力,且只能同时跟踪一个目标。典型的产品是美国“全球鹰”光电侦察载荷(如图4所示)。其通过稳定平台横滚轴在垂直航向的摆动扫描补偿运动,以及通过俯仰轴在航向方向的补偿运动,以步进凝视成像宽覆盖搜索模式和点采集模式,实现广域搜索、目标检测、高精度稳像及相移补偿。为了提高稳定精度,该产品采用了FSM(快速反射镜)技术。

(a)广域搜索模式
(a)Area search mode

(b) 跟踪模式
(b) Tracking mode
图3 扫描型光电广域监视系统的工作原理示意图
Fig.3 Schematic diagram of scanning photoelectric wide area surveillance system

图4 “全球鹰”光电侦察载荷
Fig.4 “Global Hawk”EO/IR reconnaissance payload

城市反恐作战有以下特点及需求:热点区域较多,需要同时予以关注;关注区域中的人、车辆等目标,运动变化复杂,需要光电侦察系统具备对多个目标同时进行跟踪的功能;关注区域内人、车辆众多,若完全依靠人工去筛选解读,工作量巨大,需要侦察系统具备可智能筛选兴趣目标的特点。传统光电侦察系统已经很难满足未来城市反恐作战的需求。例如,在2017年发生于在巴黎和伦敦的“暴恐”事件中,政府被迫临时启用多个空中平台(直升机等)。由于监视能力的问题,做不到区域全覆盖监视,只能确定具体的优先监视领域。

多用户多视窗光电实时监视系统具有以下特点[4-5]

(1)覆盖范围广,分辨率高。能覆盖中小城市城区、大城市重要城区,能对地面车辆、行人等进行详查。

(2)可同时供众多用户使用,每用户根据任务不同可分别选择不同区域内的行人、小型车辆、装甲车辆、武装分子等进行侦察监视,其功能如图5所示。

图5 多用户多视窗光电实时监视系统的功能示意图
Fig.5 Multi-window and multi-user functions photoelectric real time surveillance system

(3)为每个用户提供独立的功能视窗,每个视窗具有漫游、缩放、多目标自动识别(如图6所示)、目标自动跟踪(如图7所示)等功能。

图6 目标自动识别示意图
Fig.6 Automatic recognition

图7 目标自动跟踪示意图
Fig.7 Automatic target tracking

2 多用户多视窗机载光电监视系统的工作原理

2.1 多用户多视窗机载光电监视系统的组成

多用户多视窗机载光电监视系统由光电吊舱、机载信息处理系统和地面处理系统组成,如图8所示。光电吊舱负责完成高分辨率、大视场的稳定成像;机载信息处理系统负责对图像数据进行处理,以形成具有缩放、漫游、目标自动跟踪、多目标自动识别等功能的多个视窗;地面处理系统负责处理用户的操作请求,控制系统负责完成相应功能并将视窗转发给用户。

图8 多用户多视窗机载光电监视系统的组成
Fig.8 Composition of multi-user and multi-window airborne photoelectric surveillance system

2.2 光电吊舱

光电吊舱主要包括成像系统和伺服稳定平台。伺服稳定平台采用三轴框架,可保证载机运动时图像不产生旋转和克服由载体扰动导致的图像抖动。由于当前图像探测器技术水平的限制,单独的探测器无法提供多用户多视窗光电监视系统所需的覆盖范围和满足其对分辨率的要求,故成像系统采用多相机视场拼接的方式(如图9所示)。每个相机的曝光受外部同步信号控制,确保在同一时刻进行成像。成像后,将图像数据传输给机载信息处理系统进行处理。

图9 多相机视场拼接示意图
Fig.9 Multi-camera field of view splicing

2.3 机载信息处理系统

机载信息处理系统是光电监视系统的核心,其原理如图10所示。机载信息处理系统采用并行处理架构,采集各个成像模块的视频数据,经过配准、目标识别、亚采样、视频数据抽取分发后,输出生成视窗所需的数据,并将数据传输给地面处理系统。

图10 信息处理原理图
Fig.10 Principle diagram of information processing

信息处理系统在采集到相机的视频数据后,为了保证数据处理的实时性,将执行3路并行处理流程:

(1)1路判断有没有用户端视窗数据的请求。若请求出现,则通过视频数据裁剪打包模块将用户请求的像素区域进行裁剪,将其压缩后通过以太网发送至用户端。

由于其支持任意位置开窗,每一信息处理模块采集的视频数据有可能被多个用户端请求,故需要根据用户请求计算其所需像素范围,将数据分别打包发向不同的目的地。

为了减轻数据传输的压力,需要将网络上的视频数据进行压缩传输,以节省带宽。由于本装置帧率较低,不适于采用视频流(H264、H265)的压缩方法,采用JPEG2000格式进行压缩是不错的选择。

(2)1路经过亚采样后,将原始分辨率的图像数据转化为低分辨率的图像数据,用来拼接、生成全景缩略图。

(3)1路送到目标自动识别模块,输出识别的目标信息后,用来在视窗上进行标注。

2.4 地面处理系统

地面处理系统包括地面处理中心和用户端两部分。地面处理中心负责接收用户端的请求,将数据打包后通过数据链上传到机载信息处理系统。接收机载端图像数据分发给各用户端。用户端软件是实现地面功能的核心部分,它负责接收图像数据,并进行全景缩略图拼接、显示,进行用户视窗实时拼接、显示、存储,实现视窗漫游、缩放、动目标跟踪等功能。将拼接和跟踪功能交于用户端软件实现,是考虑到降低机载信息处理部分的压力、降低机载端设备的功耗和体积的结果。

用户根据图上标识的目标标记或者感兴趣的区域,选择开窗功能请求。机载信息处理系统收到请求指令及请求区域后,将相应区域的图像数据发送给用户端软件。用户端软件接收到图像数据后经解压、拼接处理,形成完成的视窗。视窗形成后,根据用户指令进行实时播放、存储及回放、目标跟踪。

在实时播放过程中,可响应用户指令,执行视窗的漫游、缩放等操作。

3 人工智能在多用户多视窗机载光电广域实时监视系统中的应用

多用户多视窗机载光电监视系统提供的信息量巨大、细节丰富,靠人工解读多目标、监视环境复杂的城市区域工作量巨大。因此,高效智能的信息处理是亟需解决的关键技术之一。按数据处理的深度区分,智能信息处理可被分为以下层次:自动识别、行为分析、事件分析。

行为分析和事件分析对光电系统的成像质量要求较高,需要目标成像的分辨率达到上百像素以上,会大大增加光电侦察系统的体积和质量,对侦察无人机、侦察直升机的负载能力提出了更高的要求,不利于光电侦察设备获得普及应用;另一方便,受限于信息处理硬件平台的性能,数据处理层次深度过高,会降低侦察系统的实时性。

图像自动识别在商业、工业领域中已获得成熟应用,成熟算法框架众多,比如Caffe、Tensorflow等深度学习框架;硬件平台也发展迅速,向着低功耗、高性能的目标逐步迈进。以上因素,均促使图像自动识别技术得以应用于对体积功耗要求较为严格的军用领域。

因此,在目前的情况下,目标自动识别功能是在多用户多视窗机载光电监视系统中较为可行的工程应用,其可利用计算机系统自动识别标注行人、武装分子、车辆、装甲车辆等,为监视人员提供其感兴趣的目标。

传统的监视设备由于不具备自动识别功能,需靠人力搜索目标,任务量大,且由于人的疲劳容易造成目标的漏查。利用人工智能算法,采集恐怖分子特征,进行训练后形成匹配模板,将模板加载到光电监视设备中,即可由光电监视系统对探测的图像进行自动识别。光电监视系统在找到恐怖分子后将向操作人员发出警报,减轻操作人员的工作量并提高准确率。

4 结 论

多用户多视窗机载光电监视系统是一个综合了大视场高分辨率成像、飞行器稳定平台、机载与地面海量数据实时传输与处理、多用户网络配置等多领域学科的高集成度系统,具有常规光电侦察系统所不具备的战场侦察感知能力。将其配合图像识别等人工智能技术手段联合应用,必将在城市作战中发挥至关重要的作用。

参考文献

[1] 张冀麟,陈英硕,蒋琪.面向城市作战的陆军飞航武器技术特点分析[J].飞航导弹,2014, 6:24-27.

ZHANG J L, CHEN Y S, JIANG Q. The characteristics of the military aerial weapon technology for urban operations[J].Aerodynamic Missile Journal,2014,6:24-27 (in Chinese).

[2] 吉书鹏.机载光电载荷装备发展与关键技术[J].航空兵器,2017,6:3-12.

JI S P. Equipment development of airborne electro-optic payload and its key technologies [J].Aero Weaponry,2017,6:3-12(in Chinese).

[3] 吉书鹏,李同海.一种光机扫描型机载广域侦察监视系统设计[J].红外技术,2018,1:20-27.

JI S P, LI T H. A design of wide area airborne surveillance system based on optical and machine scanning[J].Infrared Technology,2018,1: 20-27(in Chinese).

[4] 张春晓,林招荣,姚毅刚,等.被动成像广域空中监视系统综述[J].航天返回与遥感,2014,35(1):37-45.

ZHANG C X, LIN Z R, YAO Y G, et al. Overview of passive imagine wide area airborne surveillance [J].Spacecraft Recovery & Remote Sensing, 2014,35(1):37-45 (in Chinese).

[5] LENINGER B, EDWARDS J, ANTONIADES J, et al. Autonomous real-time ground ubiquitous surveillance imaging system (ARGUS-IS) [C]. Proc. SPIE Defense Transformation and Net-Centric Systems 2008,Orlando, FL, USA, 2008, 69810H:1-11.

Application Research of Multi-user and Multi-window Monitoring System in City Anti-terrorist

LIU Guodong, ZHANG Weiguo, FAN Pengcheng, XU Xiaofeng, WANG Maqiang

(Xi’an Institute of Applied Optics, Xi’an 710065)

Abstract:As the concentration area of main wealth, latent area of war potential and strategic area of national security, cities have become the main battlefield of the modern war. By analyzing the limitation of the traditional airborne photoelectric reconnaissance system in city anti-terrorist field, this paper expounds the prospect of the multi-user and multi-window airborne photoelectric reconnaissance system in urban applications. Through the analysis of the working principle of the multi-window and multi-user airborne photoelectric reconnaissance equipment, especially the analysis of the principle of multi-user and multi-window technology, a feasible development scheme of the multi-user and multi-window photoelectric reconnaissance system is proposed, which provides a reference for the development and application of similar products. At the same time, combined with the current artificial intelligence techno-logy, this paper analyzes the feasibility of the application of image automatic recognition technology for reconnaissance system to screen out the threat targets from the mass information for real-time tracking, which greatly improves the efficiency of reconnaissance and surveillance.

Keywords:airborne photoelectric reconnaissance system; multi-window; multi-user; artificial intelligence; automatic image recognition

*收稿日期:2018-09-06;修回日期:2018-09-25

作者简介:刘国栋(1982—)男,硕士研究生,高级工程师,主要从事光电探测识别技术研究。E-mail:yllgd007@163.com

引用格式刘国栋,张卫国,范鹏程,等. 多用户多视窗机载光电监视系统在城市反恐中的应用研究[J]. 飞控与探测,2018, 1(3): 034-040. LIU G D, ZHANG W G, FAN P C, et al. Application research of multi-user multi-window monitoring system in city anti-terrorist[J]. Flight Control & Detection, 2018, 1(3): 034-040.

中图分类号TN29

文献标志码:A

文章编号:2096-5974(2018)03-0034-07