論文の概要: Semi-Supervised Flow Matching for Mosaiced and Panchromatic Fusion Imaging
- arxiv url: http://arxiv.org/abs/2604.20128v1
- Date: Wed, 22 Apr 2026 02:48:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:10.930014
- Title: Semi-Supervised Flow Matching for Mosaiced and Panchromatic Fusion Imaging
- Title(参考訳): モザイク・パンクロマティック・フュージョン・イメージングのための半監督フローマッチング
- Authors: Peiming Luo, Nan Wang, Litong Liu, Jiahan Huang, Chenxu Wu, Renwei Dian, Junming Hou,
- Abstract要約: モザイク画像融合とPAN画像融合のための新しい半教師付きフローマッチングフレームワークを提案する。
本手法は,フローマッチングによる教師なしスキームをシームレスに統合し,汎用的で効率的な生成フレームワークを実現する。
- 参考スコア(独自算出の注目度): 16.83673519796277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fusing a low resolution (LR) mosaiced hyperspectral image (HSI) with a high resolution (HR) panchromatic (PAN) image offers a promising avenue for video-rate HR-HSI imaging via single-shot acquisition, yet its severely ill-posed nature remains a significant challenge. In this work, we propose a novel semi-supervised flow matching framework for mosaiced and PAN image fusion. Unlike previous diffusion-based approaches constrained by specific protocols or handcrafted assumptions, our method seamlessly integrates an unsupervised scheme with flow matching, resulting in a generalizable and efficient generative framework. Specifically, our method follows a two-stage training pipeline. First, we pretrain an unsupervised prior network to produce an initial pseudo HR-HSI. Building on this, we then train a conditional flow matching model to generate the target HR-HSI, introducing a random voting mechanism that iteratively refines the initial HR-HSI estimate, enabling robust and effective fusion. During inference, we employ a conflict-free gradient guidance strategy that ensures spectrally and spatially consistent HR-HSI reconstruction. Experiments on multiple benchmark datasets demonstrate that our method achieves superior quantitative and qualitative performance by a significant margin compared to representative baselines. Beyond mosaiced and PAN fusion, our approach provides a flexible generative framework that can be readily extended to other image fusion tasks and integrated with unsupervised or blind image restoration algorithms.
- Abstract(参考訳): 低分解能 (LR) モザイクハイパースペクトル像 (HSI) と高分解能 (HR) パンクロマトグラフィー (PAN) 画像との融合により, 単発撮影による高分解能HR-HSI撮影が期待できる道筋が得られた。
本研究では,モザイク画像融合とPAN画像融合のための半教師付きフローマッチングフレームワークを提案する。
特定のプロトコルや手作りの仮定に制約された従来の拡散ベースのアプローチとは異なり,本手法は非教師なしスキームとフローマッチングをシームレスに統合することにより,一般化可能かつ効率的な生成フレームワークを実現する。
具体的には,本手法は2段階の訓練パイプラインに従う。
まず、教師なし事前ネットワークを事前訓練し、初期擬似HR-HSIを生成する。
これに基づいて,条件付きフローマッチングモデルをトレーニングして,対象のHR-HSIを生成する。
推測では、スペクトル的かつ空間的に一貫したHR-HSI再構成を保証する、コンフリクトフリー勾配誘導戦略を採用している。
複数のベンチマークデータセットを用いた実験により,本手法は,代表ベースラインに比べて有意な差で定量的,定性的な性能が得られた。
本手法は,モザイクやPAN融合以外にも,他の画像融合タスクにも容易に拡張可能なフレキシブルな生成フレームワークを提供し,教師なしあるいはブラインドな画像復元アルゴリズムと統合する。
関連論文リスト
- UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。
インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。
実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
論文 参考訳(メタデータ) (2026-03-24T17:59:17Z) - Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling [16.923899489263945]
ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。
HMIF法は通常、2つのモードからの直接融合を効果的な監督なしに適用する。
本稿では, エンドツーエンドの自己教師型textbfModality-Decoupled textbfSpatial-textbfSpectral Fusion (textbfMossFuse) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-06T06:22:43Z) - Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2024-09-04T13:05:00Z) - Timestep-Aware Diffusion Model for Extreme Image Rescaling [47.89362819768323]
本稿では,時間認識拡散モデル(TADM)と呼ばれる,画像再スケーリングのための新しいフレームワークを提案する。
TADMは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を行う。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳(メタデータ) (2024-08-17T09:51:42Z) - Variational Zero-shot Multispectral Pansharpening [43.881891055500496]
Pansharpeningは、低空間分解能マルチスペクトル画像(LRMS)とパンクロマチック画像(PAN)を融合させて高空間分解能マルチスペクトル画像(HRMS)を生成することを目的としている。
既存のディープラーニングベースの手法は、多くのトレーニングペアに依存するため、適していない。
最適化対象にニューラルネットワークを導入することにより,ゼロショットパンスハーペン方式を提案する。
論文 参考訳(メタデータ) (2024-07-09T07:59:34Z) - JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。
従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。
本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
論文 参考訳(メタデータ) (2023-12-20T08:05:57Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - Memory-augmented Deep Unfolding Network for Guided Image
Super-resolution [67.83489239124557]
誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。
従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。
HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
論文 参考訳(メタデータ) (2022-02-12T15:37:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。