論文の概要: Unleashing the Power of Text: Text-Guided Flow Matching for Image Fusion under Complex Degradations

• arxiv url: http://arxiv.org/abs/2608.00530v1
• Date: Sat, 01 Aug 2026 08:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.745939
• Title: Unleashing the Power of Text: Text-Guided Flow Matching for Image Fusion under Complex Degradations
• Title（参考訳）: テキストのパワーを解放する:複雑な劣化下における画像融合のためのテキストガイドフローマッチング
• Abstract要約: 現実的な劣化シナリオ下での赤外線可視画像融合は難しい課題である。 最近の研究は、テキストが劣化特性に関する事前情報を提供できることを示している。 テキスト誘導型潜在空間フローマッチングフレームワークであるTGFusionを提案する。
• 参考スコア（独自算出の注目度）: 50.60539317126614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared-visible image fusion under realistic degradation scenarios is a challenging task, as degradations not only cause a loss of reliable modality-specific information in observed images but also hinder the fusion process. Recent studies indicate that text can provide prior information about degradation characteristics, complementing the limited evidence available from corrupted input images and facilitating fusion. However, existing methods typically inject fixed global text representations into visual features, making it difficult for textual guidance to adapt to spatially varying degradations, local structures, and thermal saliency. To this end, we propose TGFusion, a text-guided latent-space flow matching framework that unifies degradation suppression and cross-modal fusion. TGFusion encodes task, degradation, and generation cues into structured prompts. To fully exploit these priors, we design a Prompt-conditioned Multi-stream Joint Flow Transformer that represents text as an independent semantic stream alongside fusion, visible, and infrared streams. Joint attention enables token-level bidirectional interaction and layer-wise updating among semantic and visual representations, allowing degradation semantics to dynamically guide reliable information selection and fusion latent generation. Extensive experiments on public benchmarks and complex degradation scenarios demonstrate that TGFusion achieves superior or competitive performance in perceptual quality, image naturalness, structural-detail preservation, and infrared-saliency retention, while remaining robust across diverse single and compound degradations.
• Abstract（参考訳）: 現実的な劣化シナリオ下での赤外線可視画像融合は、劣化が観察画像における信頼性の高いモダリティ情報を失うだけでなく、融合プロセスの妨げとなるため、難しい課題である。 最近の研究は、テキストが劣化特性に関する事前情報を提供し、破損した入力画像から得られる限られた証拠を補完し、融合を促進することを示唆している。 しかし、既存の手法では、固定されたグローバルテキスト表現を視覚的特徴に注入し、空間的に変化する劣化、局所構造、サーマルサリエンシに適応することが難しい。 そこで本研究では, 劣化抑制と相互融合を統一するテキスト誘導型遅延空間フローマッチングフレームワークである TGFusion を提案する。 TGFusionはタスク、分解、生成キューを構造化プロンプトにエンコードする。 これらの先行をフル活用するために,テキストを融合,可視,赤外線ストリームとともに独立した意味ストリームとして表現する,Prompt条件のマルチストリームジョイントフロートランスを設計する。 共同注意により、意味的および視覚的表現間のトークンレベルの双方向相互作用と階層的更新が可能になり、分解セマンティクスは信頼性の高い情報選択と融合潜時生成を動的に導くことができる。 公的なベンチマークと複雑な劣化シナリオに関する大規模な実験により、TGFusionは知覚的品質、画像の自然性、構造的詳細保存、赤外彩度保持において優れた、あるいは競争的な性能を達成できる一方で、多様な単一および複合劣化に対して頑健であることが示された。

関連論文リスト

• IT-TextFusion: Iterative Text-Image Interaction with Text-Guided Residual Refinement for Degradation-Aware Image Fusion [2.0260533411307304]
  本稿では,複数の融合・改良段階にまたがるテキスト条件付き特徴相互作用を組み込んだ反復的テキスト誘導画像融合フレームワークを提案する。 提案手法は,最深層クロスアテンション,マルチスケールクロスゲイト・フュージョン,ステージ固有テキスト条件変調を統合した。 いくつかのベンチマークデータセットの実験により,提案手法は情報保存と知覚品質の指標を改善した。
  論文  参考訳（メタデータ） (2026-09-01T11:33:20Z)
• Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space [63.220767051340005]
  赤外線と可視画像の融合は相補的なモダリティを統合することを目的としている。 双曲的多様体学習によるテキスト駆動型融合フレームワークを提案する。 実験の結果,提案手法はベンチマークデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-06-13T04:33:33Z)
• PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution [51.96078493242164]
  PRISMは単一ステップ拡散ベースのText-SRフレームワークである。 PRISMはミリ秒レベルの推論で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-05-13T05:31:06Z)
• Degradation-Robust Fusion: An Efficient Degradation-Aware Diffusion Framework for Multimodal Image Fusion in Arbitrary Degradation Scenarios [34.660999867031386]
  ノイズ、ぼかし、低解像度といった複雑な劣化は、実世界の画像融合タスクにおける典型的な課題である。 本稿では,任意の劣化シナリオ下での画像融合のための効率的な劣化認識拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-10T03:34:53Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• MSGFusion: Multimodal Scene Graph-Guided Infrared and Visible Image Fusion [10.160499805076755]
  赤外線および可視画像のためのマルチモーダルシーングラフ誘導融合フレームワークであるMSGFusionを紹介する。 テキストと視覚から得られる構造化されたシーングラフを深く結合することにより、MSGFusionはエンティティ、属性、空間関係を明示的に表現する。 低照度オブジェクト検出、セマンティックセグメンテーション、医療画像融合といった下流タスクにおいて、セマンティック一貫性と一般化性を提供する。
  論文  参考訳（メタデータ） (2025-09-16T09:58:06Z)
• ControlFusion: A Controllable Image Fusion Framework with Language-Vision Degradation Prompts [82.52042409680267]
  現在の画像融合法は、現実の撮像シナリオで発生する複合劣化に対処するのに苦労している。 本稿では,制御フュージョンと呼ばれる言語ビジョンプロンプトを用いた制御可能な画像融合フレームワークを提案する。 実験では、制御フュージョンは、融合品質と劣化処理においてSOTA融合法より優れている。
  論文  参考訳（メタデータ） (2025-03-30T08:18:53Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。