論文の概要: Test-Time Dynamic Image Fusion

• arxiv url: http://arxiv.org/abs/2411.02840v1
• Date: Tue, 05 Nov 2024 06:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:47.530731
• Title: Test-Time Dynamic Image Fusion
• Title（参考訳）: 試験時間動的画像融合
• Authors: Bing Cao, Yinan Xia, Yi Ding, Changqing Zhang, Qinghua Hu,
• Abstract要約: 本稿では,一般化の観点から考察する。 融合した画像をソースデータに対応する複数のコンポーネントに分解する。 一般化誤差を低減するための鍵は、RDベースの融合重みとユニソース再構成損失との負の相関によるものであることを証明した。
• 参考スコア（独自算出の注目度）: 45.551196908423606
• License:
• Abstract: The inherent challenge of image fusion lies in capturing the correlation of multi-source images and comprehensively integrating effective information from different sources. Most existing techniques fail to perform dynamic image fusion while notably lacking theoretical guarantees, leading to potential deployment risks in this field. Is it possible to conduct dynamic image fusion with a clear theoretical justification? In this paper, we give our solution from a generalization perspective. We proceed to reveal the generalized form of image fusion and derive a new test-time dynamic image fusion paradigm. It provably reduces the upper bound of generalization error. Specifically, we decompose the fused image into multiple components corresponding to its source data. The decomposed components represent the effective information from the source data, thus the gap between them reflects the Relative Dominability (RD) of the uni-source data in constructing the fusion image. Theoretically, we prove that the key to reducing generalization error hinges on the negative correlation between the RD-based fusion weight and the uni-source reconstruction loss. Intuitively, RD dynamically highlights the dominant regions of each source and can be naturally converted to the corresponding fusion weight, achieving robust results. Extensive experiments and discussions with in-depth analysis on multiple benchmarks confirm our findings and superiority. Our code is available at https://github.com/Yinan-Xia/TTD.
• Abstract（参考訳）: 画像融合の固有の課題は、マルチソース画像の相関を捉え、異なるソースからの有効情報を包括的に統合することにある。 既存のほとんどの技術は、理論的保証が欠如しているにもかかわらず、ダイナミックイメージの融合の実行に失敗し、この分野における潜在的なデプロイメントリスクにつながっている。 動的画像融合を明確な理論的正当化で行うことは可能か? 本稿では,一般化の観点から考察する。 我々は、画像融合の一般化形態を明らかにし、新しいテスト時間動的画像融合パラダイムを導出する。 これは有意に一般化誤差の上限を減少させる。 具体的には、融合した画像をソースデータに対応する複数のコンポーネントに分解する。 分解されたコンポーネントは、ソースデータからの有効情報を表すので、融合画像を構築する際のユニソースデータの相対的支配性(RD)を反映する。 理論的には、一般化誤差を低減する鍵は、RDベースの融合重みとユニソース再構成損失の負の相関にかかっていることを証明している。 直感的には、RDは各ソースの支配領域を動的に強調し、対応する融合重みに自然に変換することができ、堅牢な結果が得られる。 複数のベンチマークにおける広範囲な実験と詳細な分析による議論は、我々の発見と優越性を裏付けるものである。 私たちのコードはhttps://github.com/Yinan-Xia/TTD.comで公開されています。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss via Meta-Learning [17.91346343984845]
  メタラーニングに基づく統合画像融合フレームワークReFusionを導入する。 ReFusionはパラメータ化された損失関数を採用し、特定のシナリオとタスクに応じてトレーニングフレームワークによって動的に調整される。 赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など、様々なタスクに適応することができる。
  論文  参考訳（メタデータ） (2023-12-13T07:40:39Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• FusionVAE: A Deep Hierarchical Variational Autoencoder for RGB Image Fusion [16.64908104831795]
  本稿では,多くの融合タスクの基盤となるFusionVAEと呼ばれる新しい階層型変分オートエンコーダを提案する。 提案手法では,複数ノイズ,隠蔽,あるいは部分的な入力画像のみを条件とした多様な画像サンプルを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T19:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。