基于监督注意力机制的语义标签生成图像

Key Words:语义标签;图像生成;级联细化网络;注意力机制;端到端

Abstract:由于卷积神经网络内部存在局部连接,通过学习局部特征,模型能够较好地生成纹理风格信息,但是对高级语义特征的学习能力较差,导致生成图像中语义目标出现模糊失真的现象。为提高神经网络的全局特征处理能力,使生成图像中的语义目标更清晰真实,本研究提出一种监督注意力机制应用于端到端结构的级联细化网络图像生成模型。对第一级精细化模块输出的多维低分辨率大感受野特征和语义标签内多维语义特征做特征融合,加强网络内部多维特征之间的全局一致性,通过语义布局指导模型从全局信息中生成真实感图像,提升了由语义标签生成图像中语义目标的清晰度和真实性。将级联细化网络图像生成模型在Cityscapes验证集语义标签上得到的生成图像语义分割平均像素精度提升了8.6%,mIoU精度提升了26.7%。

Volume:v.42;No.191

Issue:04

Translation or Not:no