# 高光谱遥感深度学习调研

> 发布于：2024-11-15 | 分类：笔记 | 原文：https://www.imbailey.cn/post/hyperspectral-remote-sensing-deep-learning-survey

### 综述

高光谱深度学习只有小综述，没有大综述。小综述里面场景分类、目标检测的综述比较多。

> Wang C, Liu B, Liu L, et al. A review of deep learning used in the hyperspectral image analysis for agriculture[J]. Artificial Intelligence Review, 2021, 54(7): 5205-5253. 被引208

> Moharram M A, Sundaram D M. Land use and land cover classification with hyperspectral data: A comprehensive review of methods, challenges and future directions[J]. Neurocomputing, 2023, 536: 90-113. 被引61

> Audebert N, Le Saux B, Lefèvre S. Deep learning for classification of hyperspectral data: A comparative review[J]. IEEE geoscience and remote sensing magazine, 2019, 7(2): 159-173. 被引608

> Chen B, Liu L, Zou Z, et al. Target detection in hyperspectral remote sensing image: Current status and challenges[J]. Remote Sensing, 2023, 15(13): 3223.被引22

### 高光谱场景分类

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1729854855957-ef23736e-2dd6-42b8-b70f-31b974dea298.png)

首先利用3D和2D卷积层提取图像的光谱-空间特征，然后通过高斯加权特征分词器将特征转换为token，最后使用变换器编码器模块学习高级语义特征，并采用线性层识别样本标签，从而有效地捕捉光谱-空间特征和高级语义特征，提高分类性能。

> Sun L, Zhao G, Zheng Y, et al. Spectral–spatial feature tokenization transformer for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-14. 被引：527

### 高光谱场景分类域泛化

域适应指的是使用高光谱图像A（含有标签）和高光谱图像B（不含标签）一起训练，然后推理在B上进行。域泛化指的是使用高光谱高光谱图像A（含有标签）训练，在高光谱图像B上推理。下面的例子是一篇域泛化的文章。

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1731574642893-87e32b81-07a4-4ac6-bf98-3d06fc3b6cba.png)

> Zhang Y, Li W, Sun W, et al. Single-source domain expansion network for cross-scene hyperspectral image classification[J]. IEEE Transactions on Image Processing, 2023, 32: 1498-1512. 被引163

### 高光谱目标检测

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1731578495354-c57464ca-a9e9-4e1a-a632-3b9a37788343.png)

> Rao W, Gao L, Qu Y, et al. Siamese transformer network for hyperspectral image target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-19. 被引92

高光谱目标检测和CV目标检测有很大不同，高光谱目标检测输入由两部分组成，分别是是目标图像（比如一个城市的图像）和待检测样本图像（比如飞机），然后对目标图像逐像素与待检测样本做相似度匹配，高相似度的就标记上，直到把这个城市中的飞机逐像素的标记出来。

比较流行的方法：SRD, CSCR, HTD, LRS-STD, STTD。考虑一下能不能使用。

### 高光谱异常检测

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1731656413127-e8c2d0bb-96ba-4f16-ac7c-e555fd9271ce.png)

+ **背景重建**：使用自编码器（AE）模型来重建图像的背景。自编码器的训练是基于纯净的背景样本，这些样本通过鲁棒主成分分析（RPCA）方法得到，以确保自编码器主要学习背景特征。为了使背景重建更准确，文章引入了子空间恢复自编码器（SRAE）和子空间恢复层（SRL），这有助于将背景像素聚集在原始位置附近，同时将异常像素推远，从而提升对背景的表征效果。
+ **残差计算**：将重建的背景图像与原始图像相减，计算残差图。由于背景在自编码器中得到了较好的重构，而异常无法被准确重构，因此残差图中异常部分的重构误差会较大，而背景部分的重构误差则较小。
+ **异常检测**：利用残差图中的差异，通过RX检测器或其他后处理方法来生成异常检测图。残差较大的区域被视为潜在的异常点。
+ **多尺度融合**：为了进一步提高检测精度，文章引入了多尺度超像素分割和多尺度融合策略，利用不同尺度下的空间信息来增强异常的可区分性，同时抑制背景噪声。

> Cheng X, Zhang M, Lin S, et al. Deep self-representation learning framework for hyperspectral anomaly detection[J]. IEEE Transactions on Instrumentation and Measurement, 2023.

### 高光谱语义分割

无论文

### 高光谱实例分割

 语义分割可以为图像中的每个像素分配相应的类别，但它不能区分同一类别中的对象。这是语义分割和实例分割的区别  。

语义分割和场景分类一样都是逐像素预测，不同的是语义分割是输入一张图像，输出一幅掩膜图。而场景分类是一个一个patch输出类别。

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1731657922242-1a27d90c-3d22-4091-a3a5-27535fb7c337.png)

> Fang L, Jiang Y, Yan Y, et al. Hyperspectral image instance segmentation using spectral–spatial feature pyramid network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-13.

### 高光谱超分/解混

这篇文章提出了一种名为EU2ADL（Enhanced Unmixing-inspired Unsupervised Network with Attention-Embedded Degradation Learning）的增强型自编码器网络，用于无监督的高光谱图像超分辨率（HS-SR）任务。高光谱解混（Hyperspectral Unmixing）是高光谱图像分析中的一个重要环节，它涉及将混合像素的光谱信号分解为若干纯净物质（称为“端元”）的光谱签名及其相应的丰度（即每种物质在像素中的比例）。

文章中提到的EU2ADL网络通过两个耦合的自编码器来实现高光谱图像的超分辨率重建。这个网络的设计灵感来源于高光谱解混的原理，它通过学习输入图像的潜在丰度图和相应的端元，来重建高分辨率的高光谱图像（HrHSI）。具体来说，网络的编码器部分由一个空间-光谱双流子网络（SSTS-Net）和一个参数共享的单流子网络（PSOS-Net）组成，用于提取模态显著的特征并增强信息传递。此外，文章还提出了一种混合模型约束损失函数，用于指导网络生成更准确的丰度图和目标图像。

文章中的方法与高光谱解混的关系主要体现在以下几个方面：

1. 网络结构设计：EU2ADL网络的设计受到了高光谱解混理论的启发，特别是通过耦合的自编码器来学习丰度图和端元，这与解混过程中将像素分解为端元和丰度的思想相似。
2. 损失函数设计：文章提出的混合模型约束损失函数包括了一个感知丰度项和一个退化引导项，这些损失函数的设计有助于网络更好地学习丰度图和端元，从而提高超分辨率重建的质量。
3. 退化参数估计：文章中还提出了一个独立的网络（ADLnet），用于估计未知的退化参数（如点扩散函数PSF和光谱响应函数SRF），这些参数在高光谱解混中也是非常重要的，因为它们描述了观测图像与目标高分辨率图像之间的关系。

![](https://myblog-1257298572.cos.ap-shanghai.myqcloud.com//img1731658808648-c0cf7d57-ca26-42a2-9cd5-3aa5e0360871.png)

> Gao L, Li J, Zheng K, et al. Enhanced autoencoders with attention-embedded degradation learning for unsupervised hyperspectral image super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-17. 被引100

### 总结

+ 高光谱图像数据规模太小，不仅数据规模小，标签也少，大家都在做小样本学习，而且它的各项研究也处于刚起步阶段，人们关心的各项任务的精度提升而不是速度提升。
+ 高光谱目标检测的研究其实并不多，而且起步都在近几年，这一领域没有形成共识的Baseline，每个人都有自己的一套方法，而且很多文章都没有源代码。