論文の概要: Balancing Task-invariant Interaction and Task-specific Adaptation for Unified Image Fusion

• arxiv url: http://arxiv.org/abs/2504.05164v1
• Date: Mon, 07 Apr 2025 15:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:58.880049
• Title: Balancing Task-invariant Interaction and Task-specific Adaptation for Unified Image Fusion
• Title（参考訳）: 統合画像融合におけるタスク不変相互作用のバランスとタスク固有適応
• Authors: Xingyu Hu, Junjun Jiang, Chenyang Wang, Kui Jiang, Xianming Liu, Jiayi Ma,
• Abstract要約: 統合画像融合は、マルチソース画像からの補完情報を統合し、画質を向上させることを目的としている。 既存の一般画像融合法では、異なる融合タスクへの適応を可能にする明示的なタスク識別が組み込まれている。 本稿では,タスク不変相互作用とタスク固有適応のバランスをとる,新たな統合画像融合フレームワーク「TITA」を提案する。
• 参考スコア（独自算出の注目度）: 82.74585945197231
• License:
• Abstract: Unified image fusion aims to integrate complementary information from multi-source images, enhancing image quality through a unified framework applicable to diverse fusion tasks. While treating all fusion tasks as a unified problem facilitates task-invariant knowledge sharing, it often overlooks task-specific characteristics, thereby limiting the overall performance. Existing general image fusion methods incorporate explicit task identification to enable adaptation to different fusion tasks. However, this dependence during inference restricts the model's generalization to unseen fusion tasks. To address these issues, we propose a novel unified image fusion framework named "TITA", which dynamically balances both Task-invariant Interaction and Task-specific Adaptation. For task-invariant interaction, we introduce the Interaction-enhanced Pixel Attention (IPA) module to enhance pixel-wise interactions for better multi-source complementary information extraction. For task-specific adaptation, the Operation-based Adaptive Fusion (OAF) module dynamically adjusts operation weights based on task properties. Additionally, we incorporate the Fast Adaptive Multitask Optimization (FAMO) strategy to mitigate the impact of gradient conflicts across tasks during joint training. Extensive experiments demonstrate that TITA not only achieves competitive performance compared to specialized methods across three image fusion scenarios but also exhibits strong generalization to unseen fusion tasks.
• Abstract（参考訳）: 統合画像融合は、多ソース画像からの補完情報を統合することを目的としており、多様な融合タスクに適用可能な統一されたフレームワークを通じて画像品質を向上させる。 すべての融合タスクを統一的な問題として扱うことは、タスク不変の知識共有を促進するが、タスク固有の特性を見落とし、全体的なパフォーマンスを制限する。 既存の一般画像融合法では、異なる融合タスクへの適応を可能にする明示的なタスク識別が組み込まれている。 しかし、推論中のこの依存は、モデルの一般化を目に見えない融合タスクに制限する。 これらの課題に対処するために,タスク不変インタラクションとタスク固有適応の両方を動的にバランスさせる,新しい統合画像融合フレームワーク「TITA」を提案する。 タスク不変のインタラクションに対して,多元的補完情報抽出のための画素ワイドインタラクションを強化するために,Interaction-enhanced Pixel Attention (IPA)モジュールを導入する。 タスク固有の適応のために、Operation-based Adaptive Fusion (OAF)モジュールはタスク特性に基づいて動的に操作重みを調整する。 さらに,Fast Adaptive Multitask Optimization(FAMO)戦略を取り入れて,共同学習におけるタスク間の勾配衝突の影響を軽減する。 大規模な実験により、TITAは3つの画像融合シナリオにまたがる特殊な手法と比較して、競争性能を達成するだけでなく、目に見えない融合タスクへの強力な一般化も示している。

関連論文リスト

• Instruction-Driven Fusion of Infrared-Visible Images: Tailoring for Diverse Downstream Tasks [9.415977819944246]
  赤外線と可視光融合技術の主な価値は、下流のタスクに融合結果を適用することである。 既存の手法では、トレーニングの複雑さが増し、個々のタスクのパフォーマンスが著しく損なわれるといった課題に直面している。 本稿では,タスク指向適応制御(T-OAR)を提案する。
  論文  参考訳（メタデータ） (2024-11-14T12:02:01Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Task-Customized Mixture of Adapters for General Image Fusion [51.8742437521891]
  一般画像融合は、マルチソース画像から重要な情報を統合することを目的としている。 本稿では, 汎用画像融合用アダプタ(TC-MoA)を新たに提案し, 統一モデルにおける様々な融合タスクを適応的に促進する。
  論文  参考訳（メタデータ） (2024-03-19T07:02:08Z)
• Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation [66.15246197473897]
  多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。 画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-04T01:03:58Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。