图像超分辨算法(image super-resolution),是实现由一张或一组低分辨率的图像构建高分辨率图像的方法。与低分辨率图像相比,高分辨率图像具有更清晰的细节,更细腻的画质。在显微图像方面,高分辨的显微图像不仅能够帮助医生快速准确地判断细胞病变与否,而且还可以提高计算机程序基于显微图像自动识别疾病的准确率。然而,由于高分辨率相机和高倍数显微镜成本过高,以及地方政策问题,在许多发展中国家仅有部分高水平医院可以做到足够高清(诸如1000倍放大倍数)的显微图像,而一些地方医院则难以获得如此高倍数的显微图像,这无疑大大限制了当地医院的医疗水平[1],使得部分来自小城市的患者不得不专程转移至其他城市进行病理诊断。基于这个问题,人们开始提出显微图像数字增强的解决思路,数字图像超分辨技术即是其中一大分支。通过显微图像的超分辨处理,即便一些低配置的显微成像系统也可以获得足够清晰的图像,达到近乎1000倍的放大倍数,让医师不借助高分辨率相机和高倍数显微镜也可以进行准确地病理诊断。
-
- 图像超分辨技术研究现状
图像超分辨的分支可由图hellip;hellip;表示。根据输入的类型,图像超分辨可以分为单幅图像超分辨(single-image super-resolution, SISR)和多图像超分辨(multiple-image super-resolution),现在人们一般使用单幅图像超分辨(SISR)。广义上说,根据算法的任务,SISR算法可划分为两类[2]。第一类称为特定域(domain-specific)SISR算法,它们只能识别某一类特定图像(例如人脸、花卉、路标等),根据这类图像特有的特征进行图像超分辨处理[3][4][5],并不具有普适性。而第二类通用(Generic)SISR算法根据图像的边缘和色彩等特征重构图像,几乎适用于所有图像。对于通用SISR算法,根据图像的先验知识,还可以分为四类[1]:基于预测模型方法(Prediction Models),基于边缘方法(Edge Based Methods),基于图像统计方法(Image Statistical Methods)和基于分块方法(Patch Based Methods)。其中,深度学习方法包含在基于分块方法内。
-
-
- 基于预测模型方法的图像超分辨研究现状
-
基于预测模型方法无需任何训练数据,只需要预先给定一个或一组数学公式(一般为插值公式),就可以将低分辨率图像映射至高分辨率图像。双线性插值和双三次插值法就是基于这个思想[6],它们的低频信息复原效果较好,但高频信息复原效果较差。
双三次插值算法是一种较为复杂的插值方式,它在1960年左右被提出[7]。该算法利用采样点周围的16个点的灰度值作三次插值,它不仅考虑到采样点周围的灰度值的相互影响,还考虑到了周围灰度值变化率的相互影响[8]。另外,算法还需要选取一个基函数(如采样函数)来拟合数据[9]。由于双三次插值算法计算量大,且超分辨效果远不如当代超分辨技术,现在很少为人使用,但仍经常被当作超分辨算法实验的对照组[2]。
基于双三次插值算法的不足,M Irani等人提出了一种图像配准方法[10]。它先随机猜测一个高分辨率图像,通过预先给定的降采样算法得到低分辨率图像,并与给定的低分辨率图像进行比较,两张低分辨率图像的平方差返回给用于调整,如此不断迭代计算。实验表明(见图1.1),图像配准方法所重建的高分辨率图像峰值信噪比优于双三次插值。然而,通过迭代之后的插值模型只能用于某张特定的图像。
图 1.1 图像配准方法处理结果(左:原始图像,中:初次高清图像,右:数次迭代后的高清图像)
-
-
- 基于边缘方法的图像超分辨研究现状
-
基于边缘方法主要根据图像灰度值的梯度、变化率等特征进行超分辨处理,可以理解为该算法注重于识别图像的边缘、轮廓特征。目前利用该算法重建的高分辨图像与基于插值方法重建的图像相比有着较为清晰的轮廓[11]。
加州大学伯克利分校的Fattal R等人在文章中[12]提出了一种可以检测并生成锐利边缘的超分辨算法。作者借助于统计学测量和建模方法来捕捉不同分辨率下图像边缘特征的相关性,根据边缘附近像素灰度值的梯度分布、散布程度等参数建立一个额外的参数统计信息。重建过程如图1.2所示,将低分辨率图像和这个额外的统计信息相加,可以在一定程度上复原高分辨率图像。作者在降采样因子为8的低分辨率图像实验中,超分辨效果如图1.3所示。
