变分自编码器高光谱图像分类方法

来源：职称阁分类：电子论文时间：2020-05-06 09:02热度：

　　深度学习可以有效表达影像的深层特征，在遥感图像处理特别是在分类方面取得了良好的效果。提出了一种基于变分自编码网络的高光谱遥感影像深度学习分类方法，该方法利用变分自编码器进行无监督训练，用分类层替换解码层，输入训练样本进行分类网络的微调，最后在分类器预测的类别概率图基础上使用条件迭代模型求解马尔可夫随机场，对分类结果进行优化。在两幅通用高光谱数据集上进行分类实验，结果表明基于变分自编码器的高光谱遥感影像分类方法取得了优于其它方法的分类效果。

变分自编码器高光谱图像分类方法

　　关键词：深度学习;高光谱遥感;影像分类;变分自编码器;马尔可夫随机场

　　高光谱遥感影像是一种由几十到上百个波段组成的遥感数据。不同于多光谱遥感，高光谱遥感的光谱分辨率达到甚至高于10nm，能够提供比传统遥感影像更为精细的光谱信息，从而发现许多存在于狭窄光谱范围中的地物特征，提升遥感技术对于地物信息获取的能力，有助于对地物进行准确的识别和分类[1]。目前，高光谱遥感已经广泛应用于地质制图、环境监测、植被调查、农业遥感、海洋遥感、大气研究等领域。影像分类作为遥感应用的前提和保障，一直是广大学者研究的热点问题。虽然高光谱影像蕴含丰富的地物信息，但巨大的信息量也同时为分类带来了挑战。高光谱影像的高维特性会导致“维度灾难”[2]，波段间高度相关性和光谱混合问题也会极大干扰分类，数据空间的非线性关系更是为分类带来了巨大的挑战。在这种情况下，传统分类方法对高光谱数据处理能力有限，机器学习、计算机视觉以及模式识别相关方法的引入则为高光谱影像分类提供了有力参考[3]。深度学习是目前人工智能领域研究的一个热门话题。作为一种数据驱动的特征学习方法，深度学习能够从原始数据中直接学习得到高等级的特征[4]。与传统方法相比，深度学习对非线性数据有极强的处理能力，得到的特征具有更高的抽象性、层次性与可区分性[5]。近年来，深度学习方法在高光谱遥感影像分类方面已经有了较大的发展，目前有多种深度学习网络用于高光谱影像分类，主要包括堆栈自编码器(StackedAutoencoder，SAE)、深度置信网络(DeepBeliefNetwork，DBN)、卷积神经网络(ConvolutionNeuralNetwork，CNN)、循环神经网络(RecurrentNeuralNetwork，RNN)、对抗式生成模型(GenerativeAdversarialNetworks，GANs)。变分自编码器(VariationalAutoencoder，VAE)是在GANs之前就被提出的另一种深度生成网络[6]。相较于GANS复杂的网络结构，VAE假设条件简单且易于构建，在图像处理方面有广泛的用途。就图像分类而言，基于VAE的监督学习模型和半监督学习模型在MNIST数据分类上取得较好成果，但是到目前尚未应用于高光谱影像分类。本文在传统自编码网络分类框架的基础上，首次将变分自编码器引入遥感影像处理领域，提出一种基于变分自编码器的高光谱影像分类方法。

　　1基本原理

　　假定影像数据集为X={xi|i=1，2，...，N｝=(Xl，Xu)，上标代表样本的标记状况，标签数据集为Yl={yli|i=1，2，...，L｝，yli为对应像元的类别标记。图1为本文方法的思路框架图。1.1变分自编码器典型的变分解码思想是构建一组隐变量z的分布，在生成数据xi前首先通过分布函数p(z)对隐变量进行采样，利用条件分布pθ(xi|z)(θ是网络参数)和神经网络的多级映射将z转化为z。但是由于无法求解后验分布pθ(z|xi)，网络的构建难以实现。变分推断(VariationalInference)是近似求取上述分布的方法，也是变分自编码器的理论基础。其思想是引进一种固定形式的分布q(z|xi)(也为网络参数)来逼近真实的后验分布pθ(z|xi)，这一过程可以通过最小化变分下界ρ来实现。L(θ，φ;xi)=Eq(z|xi)[logp(xi|z)]-DKL[q(z|xi)‖pθ(z)](1)随机梯度变分贝叶斯评估(StochasticGradientVariationalBayes，SGVB)可以用来估计变分下界的大小[6]。利用蒙特卡罗估计得到变分下界前半部分的结果，如式(3)，S为蒙特卡罗采样数，当训练的批次数据足够大时S可以是1。Eq(z|xi)[logpθ(xi|z)]=1S∑Sn=1log(p(xi|zn))(2)当假设分布q(z|x)为高斯分布时，变分下界后半部分可以表示为式(3)，其中J为隐变量的维度，μj和σ2j为隐变量的均值和方差。-DKL(q(z|xi)‖p(z))=12∑Jj=1(1+2log(σj)-μ2j-σ2j)(3)此时，可分别将变分下界的前后部分看做损失函数中负的重构误差和正则化项，从而构建完整的网络结构。值得注意的是，利用假设后验分布q(z|xi)对隐变量z采样是不可导的过程，为此提出一种重参数化(Reparameterization)的技巧[6]。对隐变量的重参数化可以表示为z=μ+σ×ε，其中ε-p(ε)是服从标准高斯分布的辅助变量。1.2预训练与微调变分自编码分类网络的训练包括两部分，分别是预训练和微调。预训练的过程是将整幅影像作为训练数据，通过网络反向传播最小化变分下界l(θ，φ;xi)，使得隐变量z包含尽可能多的原始特征信息，并利用解码网络的多级映射重建原始特征。这一非监督的过程能够为分类网络提供优质的初始参数，间接减少了分类过程对标记样本数量上的需求。微调是一个监督学习的过程。在变分自编码网络基础上移除解码层，将隐变量层的输出z作为Softmax分类层的输入特征，连接变分自编码与分类层并构建分类网络。输入训练样本(Xtrain，Ytrain)∈(Xl，Yl)(Y对应X的标签)训练分类层，此时整个网络的参数都可以通过反向传播得到略微调整，达到更好的分类效果。经过微调过程的训练，网络能够实现从特征到标签的直接生成过程，从而对特征的类别进行判断。1.3MRF-ICM分类结果优化高光谱影像包含着丰富的空间信息，不同的地物往往集群分布，为了充分遥感影像的空间信息提升精度，可以利用马尔科夫随机场(MarkovRandomField，MRF)模型对概率图进行处理。在类别概率图上采用Potts模型估计场能量并利用条件迭代(Iterationconditionalmodel，ICM)算法最小化局部能量并更新类别标签，这一过程持续到所有像素的类别标签都稳定下来，生成最终分类结果图。

　　2实验与分析

　　采用两组国际通用高光谱影像数据集AVIRISIndianPines和ROSISUniversityofPavia数据进行比较以验证分类器效果的可靠性，通过总体精度OA(OverallAccuracy)、平均精度AA(AverageAccuracy)、单类别的精度和Lki系数来衡量分类结果。

　　2.1参数设置

　　在进行VAE参数调整时综合考虑运算时间和分类精度的变化情况得到网络的超参数值：对于In-dianPines数据，选择5层全连接编码层、1层隐变量层、5层全连接解码层的无监督学习网络结构和1层Softmax层，无监督学习率为0.001，迭代5000次，监督分类学习率为0.001，迭代8000次;对于PaviaU数据集，选择6层全连接编码层、1层隐变量层、6层全连接解码层的无监督学习网络结构和1个Softmax层，无监督学习率为0.001，迭代5000次，监督分类学习率为0.001，迭代10000次。在本次实验中假设后验分布均为高斯分布。

　　2.2泛化性分析

　　为了探究本文方法的分类精度与训练样本个数之间的关系，展开了以下实验。每类地物随机选取相同数目的标记样本作为训练样本，重复进行五次实验得到的平均总体精度和标准差如图2。其中考虑到部分类别样本数目较少，在增加训练样本数目时，训练样本不超过该类别样本总数的50%。通过上图可以发现，用小数量样本训练网络是，两个数据集上结果均表现出精度低、波动大的现象，其原因是训练样本过少导致网络过拟合，干扰分类。而随着训练样本数目的增加，网络泛化性能提升的同时过拟合程度也在降低，总体精度逐渐提高，分类表现更加稳定。

　　2.3分类结果对比

　　为了验证分类方法的有效性，本文将支持向量机SVM作为对比基准，同时选择三种空谱结合分类方法和两种深度学习方法进行比较。其中空谱结合方法包括LORSAL-MLL算法[7]、MLR-subMLL算法[8]、MPM-LBP算法[9]，深度学习算法包括SAE-LR分类方法[10]和卷积神经网络CNN分类方法[11]。在测试时，对于IndianPines数据集每个类别随机选取10%标记样本作为训练样本，而对于PaviaU数据集每个类别选取5%标记样本作为训练样本。各方法在两幅高光谱遥感影像数据集上的分类结果如表1和表2，类别最优分类精度已经被加粗处理(图3-4)。从上表可见，本文方法在IndianPines数据集上的分类效果不仅超越了基准SVM算法，与其他前沿空谱联合分类方法相比也表现出较大优越性。就单类别结果而言，VAE方法在6类地物上均取得了最高精度，虽然MLRsubMLL方法表现出了极具竞争性的单类别分类结果，但从总体分类精度OA和Kappa系数两个指标来看，VAE有更好的整体分类表现。在苜蓿和燕麦两个类别上，VAE和其他多数分类方法表现出同样的分类精度低且波动大的现象，原因是这两类地物样本总数少，导致分类器在这两类地物上过拟合严重。但是在其他易混地物，VAE方法很好地降低了错分程度，如三种大豆和三种玉米，表现出较强区分能力。从图3可见，使用该种方法得到的分类效果图相对平滑，并且很好地减小了“椒盐噪声”的影响。与其他六种方法相比，本文提出的基于VAE的分类方法取得了最高的总体分类精度，在该数据集上的结果为96.47%，高出其他方法约2.4%-16.5%。从表2可见，VAE方法在PaviaU同样得到了高质量的分类结果。在单类别分类结果中，VAE方法在5个类地物上表现得到最高精度，另外4类地物也与最高精度相差不超过2%。在该数据集中，柏油路面-沥青屋顶和砂砾屋顶-砖砌路面是两组相似地物，容易出现错分现象，但从表2可见，VAE方法有效降低了这两组地物的错分率，表现出明显的区分效果。而对于裸土，VAE方法得到了高达99.59%的分类精度，这在其他的分类方法中很难达到。虽然该数据集本身噪声干扰小，分类难度低，使用其他六种分类方法也能得到较高的分类精度，但是就OA、AA、Kappa三个指标而言，本文提出方法依然表现出了很大的优势。同样地，从图4可以看到，本文方法得到的分类效果图相对平滑，最终在PaviaU数据集上得到的总体精度OA为98.40%，超出其他六种方法约0.7%-8.2%。

　　3结语

　　本文提出了一种基于变分自编码器的高光谱影像深度学习分类方法。该方法由三部分构成，分别是VAE非监督学习、监督分类以及类别概率图的MRF-ICM优化部分。与堆栈自编码网络和卷积神经网络这两种深度学习分类方法相比，基于VAE的分类方法能获得更高的分类精度与更为平滑的分类结果图。与几种具有良好性能的空谱联合分类方法相比，该方法也表现出一定的优越性。下一步的研究将继续围绕变分自编码器在高光谱遥感影像分类方面的应用进行，尝试将半监督学习的思想引入到框架中以解决小样本训练问题，构建变分自编码器半监督分类框架。

　　作者：徐朋磊薛朝辉车子杰单位：河海大学地球与科学工程学院

文章名称：变分自编码器高光谱图像分类方法

文章地址：http://www.zhichengg.com/dzlw/15766.html

上一篇：公路工程项目管理问题及路径
下一篇：无人机摄影测量技术在地形测量的应用