摘要:图像超分辨率重建技术是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域极宽广,在军事,医学,公共安全,计算机视觉等方面都存在着重要的应用前景。目前图像超分辨技术主要分为两大类,传统的超分辨重建技术和基于深度学习的超分辨重建技术。本次课题对现有的图像超分辨率重建技术进行对比研究,评价优劣,并对基于深度学习的SRCNN方法予以实现。
关键词:超分辨率、重建、深度学习、SRCNN
- 研究背景简介
伴随着信息化时代的来临,人们能获取的信息量呈爆炸式的增长,因此迫切需要信息处理技术不断的完善和发展。数字图像及其相关处理技术是信息处理技术的重要内容之一。图像超分辨率技术作为底层计算机视觉任务,有着广泛的应用场景,比如:手机图像增强,视频监控,医疗影像,微信图像,低分辨率人脸识别等。提高图像分辨率是图像信息获取领域里追求的一个目标,因此图像超分辨率技术吸引了众多学术界和工业界的兴趣,同时,目前图像超分辨率研究也遇到了一些难题,有待继续深入研究探索并解决。
-
传统的图像超分辨率重建技术
- 基于插值的图像超分
通过某个点周围若干已知点的值,以及周围点和此点的位置关系,根据一定的公式,计算出该点的值,就是插值法。根据如何把原图像的点摆放在新图中并确定具体坐标、未知的点计算时需要周围多少个点参与、用什么公式计算、如何计算等方面讲插值法分为更为具体的算法,常用的插值算法[1][2]有:
- 最近邻插值法:令变换后像素灰度值等于离它最近的输入像素的灰度值。其核心思想是找出距离输出像素点最近的点。
- 双线性插值法:其中心思想是通过中心像素点旁边四个相邻点f(i,j),f(i 1,j),f(i,j 1),f(i 1,j 1)的像素分别在水平和垂直两个方向上做线性内插得到最终待插值点的像素值。
- 双三次插值法:双三次插值将待采样点旁的四个邻点扩展到16个,对这16个邻点灰度值做三次插值。
基于插值的方法通常提供过于平滑的重建图像,失去部分细节,输出图像灰度剧烈变化出产生震荡,尤其是高频信息丢失。
-
- 基于重建的图像超分
基于重建的方法通常是基于多帧图像的,需要结合先验知识,具体原理较为复杂,这里简单描述。主要实现方法[3]有凸集投影法,贝叶斯分析法,迭代反投影法,最大后验概率法,正规化法以及混合方法。
-
- 基于学习的图像超分
这里的学习指的是机器学习领域,关于该领域的研究比较庞大,且与深度学习方法有重叠,这里仅做介绍,不做深入研究。此方法采用大量的高分辨率图像构造学习库产生学习模型,在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识,以得到图像的高频细节,获得较好的恢复效果。[4]主要实现方法有基于示例方法,领域嵌入方法,支持向量回归方法和稀疏表示法。
- 研究现状
3.1基于深度学习的图像超分辨率重建技术基础
主要研究单幅低分辨率图像的重建方法,即SISR。SISR是一个逆问题,对于一个低分辨率图像,可能存在许多不同的高分辨率图像与之相对应。因此通常求解高分率图像时会加一个先验信息进行规范化约束。在传统的方法中,这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学习到。而基于深度学习的SR通过神经网络直接学习低分辨率图像到高分辨率图像的端到端映射函数。[5]
3.1.1 研究流程
