用于单幅模糊图像超分辨的Transformer融合网络
作者:刘花成; 任文琦; 王蕊; 操晓春
更新时间:
目的以卷积神经网络为代表的深度学习方法在高山超分辨率领域取得了丰硕成果。大多数方法都假设在低分辨率图像中没有模糊效果。然而,由于相机抖动、物体运动等原因,真实场景中的低分辨率图像通常会伴随着模糊。因此,为了解决模糊图像的超分辨率问题,提出了一种新的Transformer融合网络。首先,分别利用去模糊模块和细节纹理特征提取模块提取清晰的边缘轮廓特征和细节纹理特征。然后,通过多头自注意机制计算特征映射的任何局部信息对全局信息的响应,使Transformer融合模块能够在全局语义层次上融合边缘特征和纹理特征。最后,通过高清图像重建模块将融合后的特征恢复为高分辨率图像。结果在两个公共数据集上与最新的九种方法进行了比较。在GOPRO数据集上进行了2x、4x和8x的超分辨率重建,与第二个性能模型GFN(门控融合网络)相比,峰值信噪比(peak、signal与诺伊夫的比率、PSNR)分别增加了0.12 dB、0.18 dB和0.07 dB。Kohler数据集的超分辨率重建分别为2x、4x和8x。与GFN相比,PSNR值分别增加了0.17 D B、0.28 D B和0.16 D B。同时,还对GOPRO数据集进行了对比实验,以验证Transformer融合网络的有效性。对比实验结果表明,该网络显著提高了模糊图像的超分辨率重建效果。本文利用埃菲尔地图的超分辨率特征来捕获全局和局部模糊信息,提出了埃菲尔地图的超分辨率特征来实现全局和局部模糊信息的良好融合效果。