EigenSR 提出通过 本征图像桥接（Eigenimage-Bridge） 将预训练的 RGB 超分模型迁移到高光谱图像（HSI）超分任务，解决 HSI 数据稀缺瓶颈。核心思路：利用 HSI 的谱-空解耦，在空间本征图上微调预训练模型，再通过迭代谱正则化保持光谱保真度。

作者

Xi Su, Xiangfei Shen, Mingyang Wan, Jing Nie, Lihui Chen, Haijun Liu*, Xichuan Zhou — 重庆大学

核心矛盾

• HSI 数据稀缺：高光谱图像获取成本高，训练样本远少于 RGB（ImageNet 1400万 vs ARAD_1K ~1000）
• 通道不匹配：RGB 预训练模型（3 通道）无法直接用于 HSI（数十~数百通道），模型无法关注光谱维相关性
• 现有方案局限：以往的 HSI-SR 方法只能在小规模数据上训练，泛化能力有限

动机图解

总体框架

EigenSR 包含 三个关键阶段：

1. 谱-空解耦（本征图像分解）

对 LR HSI 进行 SVD 分解或 PCA，得到：

其中 E ∈ ℝ^(h×w×K) 为 K 个本征图像（空间分量），S ∈ ℝ^(K×B) 为谱系数矩阵。K ≪ B，实现光谱去相关。

• 本征图像 编码空间纹理信息，每个本征图是单通道图像
• 谱系数 编码光谱信息，在后续 ISR 中固定以保持光谱保真度

2. 预训练模型微调

将预训练的 RGB SR 模型（如 SwinIR、HAT）作为骨干，在本征图像上微调：

• 每个本征图像作为 单通道 输入（扩展为 3 通道匹配预训练输入）
• 共享权重的微调：同一模型处理所有 K 个本征图
• 损失函数：L1 + 感知损失 + 谱一致性损失

3. 迭代谱正则化（ISR）

推理阶段的核心组件：

• 将微调模型输出的 SR 本征图与固定的谱系数 S 相乘得到 HR HSI
• 迭代优化：每次迭代中，将 HR HSI 投影回本征图空间，再重新正则化
• 目标：在增强空间细节的同时 保持光谱保真度
• 公式：min ||H - Ê × S||_F² + λ · R(Ê)

实验设置

对比方法

与 10+ 种 SOTA 方法对比，包括：

• 传统 HSI-SR：DIP-Hyper, TENet, SRDiff, ESSAformer
• RGB 预训练迁移：HAT, SwinIR (直接迁移)
• 融合方法：HyCoNet, MGDIN

主要结果（×2 CAVE 数据集）

* 数值为论文报告结果，具体可能因实验配置略有差异。

消融实验

关键发现

• 本征图像桥接是核心：直接迁移 RGB 模型（SwinIR direct）PSNR 仅 36.24，而 EigenSR 达 43.56
• ISR 带来 +1.38 dB：迭代谱正则化有效保持光谱保真度
• 对 K 值鲁棒：K=4~16 性能稳定，K=4 即足够
• 预训练受益显著：用 HAT/SwinIR 预训练权重比随机初始化高 ~4 dB

三句话总结

• 🔬 问题：HSI 超分数据稀缺，RGB 预训练模型因通道不匹配无法直接使用
• 💡 方案：对 HSI 做谱-空解耦得本征图像 → 在本征图上微调 RGB 预训练模型 → ISR 保持光谱保真度
• 🏆 结果：在 CAVE/Chikusei 等数据集上 SOTA，PSNR +1.7 dB 优于之前最佳方法