实时图像去雾系统设计与实现文献综述

 2022-11-25 16:21:07

1 引言

随着计算机视觉的发展,视觉系统在各领域都应用广泛,如军事侦察、安全监控、卫星遥感[1]等。雾作为一种常见的天气现象,会对视觉系统采集的图像造成降质,不仅视觉效果不佳,而且引起图片对比度低、特征信息丢失等问题。有雾图像严重影响了视觉系统的正常运行和处理,所以高效快速的图像去雾方法成为重要的研究方向。

图像去雾的研究工作始于20世纪50年代,主要是美国学者针对地球资源卫星图片云雾退化问题而展开的[2]。如今,图像去雾方法已经取得了重大进展。

2 研究现状

目前,图像去雾方法主要分为三种:(1)基于图像增强的方法;(2)基于图像恢复的方法;(3)基于深度学习的方法[3]

基于图像增强的去雾方法,并不针对雾的物理特性,而是从人类视觉感受出发,通过图像增强技术来提高对比度,以改善视觉效果,强调特征。经典的算法有直方图均衡化、同态滤波、Retinex算法、小波变换算法等。最常见的方法是直方图均衡化,该方法将有雾图像的直方图均匀分布,增强对比度,但是会导致细节丢失。此外,由于直方图均衡化是全局操作,无法考虑到不同景深的退化特性。当雾的浓度分布不均匀时,用该方法的去雾图像会出现颜色失真现象[3]。为了克服此类问题,局部直方图均衡化方法应运而生。在1998年,Kim等提出子块重叠的直方图均衡化算法[4],但运算量大,时间复杂度高;为减少运算次数,Kim等[5]又提出采用部分重叠子块直方图均衡的高级对比度增强,在提高运算效率的同时亦能取得不错的图像质量。此外,王萍等[6]将插值自适应直方图均衡化算法应用到图像去雾中,有效解决了有雾图像的低对比度问题。Reza A M等[7]提出了一种基于对比度限制的直方图均衡化算法。Retinex算法将图像视为光照图像和反射图像的乘积,通过估计光照图像,再从原图像中将其消除,获得可视效果良好的反射图像[8]。最早的单尺度Retinex算法(SSR)可以提高图像的对比度,但是存在复杂度高、容易出现光晕、易失真等缺陷。为了改善SSR算法的缺点,Rahman等提出多尺度Retinex[9],即多个SSR的加权求和,通过选取不同的尺度来对图像细节信息突出,既能实现图像动态范围的压缩,又能保持色感的一致性较好。Jobson等[10]提出了带色彩恢复的多尺度算法(MSRCR),利用彩色图像的各个色彩通道间的比例关系,解决了处理彩色图像时色彩失真严重的问题。

图像恢复的去雾方法建立在大气散射物理模型的基础上,通过估算透射率和大气光来复原场景辐射(即无雾图像)。由于有雾图像的对比度更低,Tan通过扩大复原图像的局部对比度来达到去雾的目的[12],这样得到的结果只是在光学原理上达到去雾,忽视了透射率,处理结果的一些色彩经常会出现过度饱和。在文献[13]中,Fattal提出了一种新的从单幅输入图像中估计透射函数的方法。该方法重新定义了大气传输模型,大气散射模型中除了透射函数这个变量外,还增加了表面阴影这个变量。图像恢复方法中最热门的算法是何恺明等在2009年提出的暗通道先验基础上的去雾方法[14]。他通过观察统计得出暗通道先验,即在户外无雾图像中(非天空区域)的大部分局部区域,存在一些像素点(暗像素)在至少一个颜色通道中具有非常低的值,趋近于0。该算法基于此先验来估计透射率。并且作者先后提出了soft-matting[14]和导向滤波[15]的优化算法来优化透射率。 soft-matting算法可以很好地消除halo现象和块状现象,但其时间复杂度大大增加;导向滤波算法时间复杂度较小,但其复原后的图像去雾不彻底,在边缘突变区域仍存在一定程度的雾。基于暗通道先验的去雾方法不仅复杂度低,而且去雾效果好。因此,在这个基础上出现了大量的改进算法[16-18]

近年来,随着深度学习的发展,越来越多的领域都基于深度学习的方法取得了进展,图像去雾也不例外。目前,使用深度学习去雾的方法,大致分为两种:(1)使用模型来估算大气物理模型中的参数,最后根据大气散射模型来复原图像(2)在模型中输入有雾图像直接得到无雾图像。蔡博仑等人在2016年提出一个端到端的模型[19],利用卷积神经网络来对大气退化模型中的透射率进行估计并提出了一种新的非线性激活函数,然后通过大气退化模型来恢复无雾图像,提高了恢复图像的质量。在文献[20]中,作者提出了一个一体化去雾网络,它不再分别计算透射矩阵和大气光,而是通过端到端的CNN直接重建无雾图像。随着GAN的发展,Chen D等人提出了一种采用GAN实现端到端图像去雾的算法[21],重点解决了网格伪影的问题,该方法在PSNR和SSIM的指标上有了极大的提升。同时提出了新的融合网络对不同层次的特征进行融合,提高了图像的去雾效果。在文献[22]中提出了一个名为Cycle-Dehaze的图像去雾网络,它可以直接从朦胧的输入图像生成无雾图像,而无需估算大气散射模型的参数。此外,该网络以不成对的方式提供朦胧和地面真实图像的训练过程。

3 小结

图像去雾技术在户外视觉系统中有着广泛的应用,吸引着越来越多研究人员的兴趣。近几十年来,研究者们提出了大量的去雾方法,取得了较好的成果。但是该技术仍存在以下难点有待进一步深人研究:(1)获取丰富真实的雾天图像数据集[23],以便更好得发挥深度学习的优势;(2)设计复杂度更低、实时性更好的算法;(3)进一步提升算法鲁棒性[24]。因此,该研究领域仍具有很大的发展空间。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可: Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版