論文の概要: Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model

• arxiv url: http://arxiv.org/abs/2410.23905v1
• Date: Thu, 31 Oct 2024 13:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:45.207561
• Title: Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model
• Title（参考訳）: Text-DiFuse:テキスト変調拡散モデルに基づく対話型マルチモード画像融合フレームワーク
• Authors: Hao Zhang, Lei Cao, Jiayi Ma,
• Abstract要約: 既存のマルチモーダル画像融合法では、ソース画像に示される複合劣化に対処できない。 本研究では,テキスト変調拡散モデルであるText-DiFuseに基づく,インタラクティブなマルチモーダル画像融合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.739879255847946
• License:
• Abstract: Existing multi-modal image fusion methods fail to address the compound degradations presented in source images, resulting in fusion images plagued by noise, color bias, improper exposure, \textit{etc}. Additionally, these methods often overlook the specificity of foreground objects, weakening the salience of the objects of interest within the fused images. To address these challenges, this study proposes a novel interactive multi-modal image fusion framework based on the text-modulated diffusion model, called Text-DiFuse. First, this framework integrates feature-level information integration into the diffusion process, allowing adaptive degradation removal and multi-modal information fusion. This is the first attempt to deeply and explicitly embed information fusion within the diffusion process, effectively addressing compound degradation in image fusion. Second, by embedding the combination of the text and zero-shot location model into the diffusion fusion process, a text-controlled fusion re-modulation strategy is developed. This enables user-customized text control to improve fusion performance and highlight foreground objects in the fused images. Extensive experiments on diverse public datasets show that our Text-DiFuse achieves state-of-the-art fusion performance across various scenarios with complex degradation. Moreover, the semantic segmentation experiment validates the significant enhancement in semantic performance achieved by our text-controlled fusion re-modulation strategy. The code is publicly available at https://github.com/Leiii-Cao/Text-DiFuse.
• Abstract（参考訳）: 既存のマルチモーダル画像融合法は、ソース画像に現れる複合劣化に対処できないため、ノイズ、色バイアス、不適切な露光、 \textit{etc} に悩まされる。 さらに、これらの手法は、しばしば前景の物体の特異性を見落とし、融合した画像内の興味ある物体の塩分濃度を弱める。 そこで本研究では,テキスト変調拡散モデルであるText-DiFuseに基づく,インタラクティブなマルチモーダル画像融合フレームワークを提案する。 まず、このフレームワークは機能レベルの情報統合を拡散プロセスに統合し、適応的劣化除去とマルチモーダル情報融合を可能にする。 これは拡散過程に情報融合を深く明示的に埋め込む最初の試みであり、画像融合における複合劣化に効果的に対処する。 第2に、テキストとゼロショット位置モデルの組み合わせを拡散融合プロセスに埋め込むことで、テキスト制御された融合再構成戦略を開発する。 これにより、ユーザカスタマイズされたテキスト制御により、融合性能を改善し、融合画像における前景オブジェクトをハイライトすることができる。 多様な公開データセットに対する大規模な実験により、Text-DiFuseは複雑な劣化を伴うさまざまなシナリオにおける最先端の融合性能を達成することが示された。 さらにセマンティックセグメンテーション実験は,テキスト制御による融合再変調戦略によって達成されたセマンティックパフォーマンスの顕著な向上を検証した。 コードはhttps://github.com/Leiii-Cao/Text-DiFuse.comで公開されている。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion [61.42732844499658]
  本稿では拡散モデルに基づくテキスト誘導画像編集手法を体系的に改善する。 我々は、人間のアノテーションを外部知識として組み込んで、Mask-informed'領域内で編集を限定する。
  論文  参考訳（メタデータ） (2024-05-24T07:53:59Z)
• Text-IF: Leveraging Semantic Text Guidance for Degradation-Aware and Interactive Image Fusion [26.809259323430368]
  そこで本研究では,テキストIF(Text-IF)と呼ばれる画像融合タスクにおいて,意味的テキスト誘導画像融合モデルを活用する新しい手法を提案する。 テキストIFは、オールインワンの赤外線および可視画像劣化認識処理およびインタラクティブなフレキシブル融合結果にアクセスできる。 このように、Text-IFはマルチモーダル画像融合だけでなく、マルチモーダル情報融合も実現している。
  論文  参考訳（メタデータ） (2024-03-25T03:06:45Z)
• Image Fusion via Vision-Language Model [91.36809431547128]
  VIsion-Language Model (FILM)による画像融合という新しい融合パラダイムを導入する。 FILMは画像からセマンティックプロンプトを生成し、それらをChatGPTに入力し、包括的なテキスト記述を行う。 これらの記述はテキスト領域内で融合され、視覚情報融合を導く。 FILMは、赤外線可視、医療、マルチ露光、マルチフォーカス画像融合の4つの画像融合タスクにおいて有望な結果を示している。
  論文  参考訳（メタデータ） (2024-02-03T18:36:39Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• TextFusion: Unveiling the Power of Textual Semantics for Controllable Image Fusion [38.61215361212626]
  本稿では,高度な画像融合のためのテキスト誘導融合パラダイムを提案する。 テキスト注釈付き画像融合データセットIVTをリリースする。 我々のアプローチは、従来の外見に基づく融合法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-12-21T09:25:10Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis [12.954663420736782]
  本稿では,FF-GAN と呼ばれるファイングラファスなテキストイメージベースのジェネレーティブ・アドバーサリアル・ネットワークを提案する。 FF-GANは、微細なテキストイメージ融合ブロック(FF-Block)とGSR(Global Semantic Refinement)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-02-17T05:44:05Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。