論文の概要: Dig2DIG: Dig into Diffusion Information Gains for Image Fusion

• arxiv url: http://arxiv.org/abs/2503.18627v1
• Date: Mon, 24 Mar 2025 12:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:35.105105
• Title: Dig2DIG: Dig into Diffusion Information Gains for Image Fusion
• Title（参考訳）: Dig2DIG:画像融合のための拡散情報ゲイン
• Authors: Bing Cao, Baoshuo Cai, Changqing Zhang, Qinghua Hu,
• Abstract要約: 本稿では拡散情報ゲイン(DIG)を導入し,各モードの情報貢献度を異なる段階で定量化する。 本手法は,融合品質と推論効率の両方の観点から,既存の拡散に基づくアプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 46.504772732456196
• License:
• Abstract: Image fusion integrates complementary information from multi-source images to generate more informative results. Recently, the diffusion model, which demonstrates unprecedented generative potential, has been explored in image fusion. However, these approaches typically incorporate predefined multimodal guidance into diffusion, failing to capture the dynamically changing significance of each modality, while lacking theoretical guarantees. To address this issue, we reveal a significant spatio-temporal imbalance in image denoising; specifically, the diffusion model produces dynamic information gains in different image regions with denoising steps. Based on this observation, we Dig into the Diffusion Information Gains (Dig2DIG) and theoretically derive a diffusion-based dynamic image fusion framework that provably reduces the upper bound of the generalization error. Accordingly, we introduce diffusion information gains (DIG) to quantify the information contribution of each modality at different denoising steps, thereby providing dynamic guidance during the fusion process. Extensive experiments on multiple fusion scenarios confirm that our method outperforms existing diffusion-based approaches in terms of both fusion quality and inference efficiency.
• Abstract（参考訳）: 画像融合は、複数ソース画像からの補完情報を統合し、より情報的な結果を生成する。 近年,画像融合において,前例のない生成可能性を示す拡散モデルが検討されている。 しかしながら、これらのアプローチは一般的に、事前に定義されたマルチモーダルガイダンスを拡散に組み込んでおり、理論的な保証を欠きながら、各モーダルの動的に変化する重要性を捉えていない。 この問題に対処するため,画像復調における時空間的不均衡を顕著に明らかにし,特に拡散モデルによって異なる画像領域における動的情報ゲインをデノイングステップで生成する。 この観測に基づいて拡散情報ゲイン(Dig2DIG)をダイグし、理論上は拡散に基づく動的画像融合フレームワークを導出し、一般化誤差の上限を確実に低減する。 そこで我々は拡散情報ゲイン(DIG)を導入し,各モードの情報貢献度を異なるデノナイジングステップで定量化し,融合過程における動的ガイダンスを提供する。 複数の核融合シナリオに関する大規模な実験により、我々の手法は融合品質と推論効率の両方の観点から既存の拡散ベースアプローチよりも優れていることが確認された。

関連論文リスト

• SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation [29.49217721233131]
  拡散生成モデルは、デノイング軌道に沿ったデータ空間におけるランダムウォークをシミュレートする。 これにより、情報は地域間で拡散し、結果をもたらす。 しかし、拡散モデルにおける情報拡散のカオス的・乱れた性質は、しばしば画像領域間の望ましくない干渉を引き起こし、劣化した詳細保存と文脈的矛盾を引き起こす。 画像全体を通して視覚的・意味的コヒーレンスを維持しつつ、画素レベルの条件忠実性を達成するために、乱れた拡散をテキストビジョン・画像生成(TV2I)タスクの強力なツールとして再定義する。
  論文  参考訳（メタデータ） (2024-11-28T14:35:25Z)
• Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
  本稿では,Merge-Attend-Diffuse演算子を提案する。 具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。 提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
  論文  参考訳（メタデータ） (2024-08-28T09:22:32Z)
• A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
  マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
  論文  参考訳（メタデータ） (2023-12-17T04:45:15Z)
• Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
  本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。 我々は、その固有のODE-軌道の正規化を提唱する。 実験により,提案手法は低照度化において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-10-26T17:01:52Z)
• SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation [96.11061713135385]
  本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。 我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。 SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
  論文  参考訳（メタデータ） (2023-08-04T06:21:57Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。