基于视频图像模块的关键技术的研发
基于视频图像模块的关键技术的研发
2022-06-17 11:01
3714
公司新闻
2022-06-17 11:01
基于视频图像模块的关键技术的研发

深度学习的船舶识别模型研究

1)设计MIoU (Mixing Intersection over Union)损失函数,借鉴GIoU (Generalized Intersection over Union)的最小闭包区域和DIoU (Distance Intersection over Union)的关键点归一化距离,解决内河船舶识别中图像目标尺度变化大、拍摄角度多变、船舶相互遮挡、图像背景复杂等问题。

2)研究改进YOLO算法对目标场景中的船舶进行检测,增强算法对多尺度图像目标的识别能力,解决现有YOLOV5算法对小尺度船舶识别精度较低,容易产生误识及漏识的问题。

3)研究基于多尺度CNN的自适应熵加权决策融合船舶图像分类方法,使用3个不同的子网络提取多尺度下的船舶图像特征,并利用Softmax函数输出的概率值计算信息熵,保证对不同输入船舶图像赋予自适应的权重,以实现对船舶图像的高精度分类,确保提高模型的稳定性和鲁棒性。

图片 4.png

自适应熵加权决策融合船舶图像分类方法


设计光流运动模型OFMM,融合连续帧内海天线和海面特征点信息,研究利用连续两帧内的海天线帧间运动模型优化光流聚类效果,通过特征点匹配、海天线匹配、光流聚类以及单应矩阵计算,实现前景特征点和背景特征点的准确分类,获取各自的运动模型。

设计基于Resnet50骨干网络构建外观模型,研究利用余弦分类器替换输出端标准的Softmax分类器,用于目标船舶的ID重识别。

基于船舶识别模型、OFMM和外观模型,设计基于计算机视觉的海上多目标船舶跟踪算法MVT,重点解决目标船舶的运动估计,ID频繁变换以及跟踪框和检测框的匹配问题。

图片 1.png

光流运动模型OFMM


船舶视频监控识别系统设计

研究船舶AR增强展示功能,实现船舶信息、违规信息、水文信息等助航信息的自动叠加和AR视频流压缩、输出功能。

多线激光雷达通过云台和旋镜的往复旋转,对多角度点云进行配准可以获取在500m处全流域亚米级精度的船舶的三维轮廓。该种方式信息来源没有维度缺失,点云处理算法较为成熟,检测结果可靠。受限于光的传播特性,在极端大雾和大雨情况下探测距离会有明显衰减,用于水上探测其耐候性和防护需做特别加强。

图片62.png

多线激光雷达


激光雷达偏航超高检测仪即采用该种多线激光的探测方式,从而对船舶环境空间信息的高密度云进行主动探测,通过云台和旋镜的往复旋转,可对多角度点云进行配准并获取在500m内全流域亚米级精度,因其采用高速非重复扫描技术和多线封装激光器,点云视场覆盖率高,可快速捕捉视场中的每个细节,如船舶的位置、船速、大小及位移等三维轮廓信息,通过桥梁预设的通航净高和净宽来判别船舶是否超高及偏航,并结合声光报警等技术手段予以偏航预警提示。

图片16.png

激光雷达偏航超高检测仪