論文の概要: TeSG: Textual Semantic Guidance for Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2506.16730v1
• Date: Fri, 20 Jun 2025 03:53:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.329059
• Title: TeSG: Textual Semantic Guidance for Infrared and Visible Image Fusion
• Title（参考訳）: TeSG:赤外線と可視画像融合のためのテキスト・セマンティック・ガイダンス
• Authors: Mingrui Zhu, Xiru Chen, Xin Wei, Nannan Wang, Xinbo Gao,
• Abstract要約: Infrared and visible image fusion (IVF) は、画像モダリティの相補的な情報を組み合わせることを目的としている。 テキスト意味論は,マスクの意味レベルとテキスト意味レベルという2つのレベルで導入する。 画像合成プロセスのガイドとなる赤外線・可視画像融合のためのテクスチュアル・セマンティック・ガイダンスを提案する。
• 参考スコア（独自算出の注目度）: 55.34830989105704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion (IVF) aims to combine complementary information from both image modalities, producing more informative and comprehensive outputs. Recently, text-guided IVF has shown great potential due to its flexibility and versatility. However, the effective integration and utilization of textual semantic information remains insufficiently studied. To tackle these challenges, we introduce textual semantics at two levels: the mask semantic level and the text semantic level, both derived from textual descriptions extracted by large Vision-Language Models (VLMs). Building on this, we propose Textual Semantic Guidance for infrared and visible image fusion, termed TeSG, which guides the image synthesis process in a way that is optimized for downstream tasks such as detection and segmentation. Specifically, TeSG consists of three core components: a Semantic Information Generator (SIG), a Mask-Guided Cross-Attention (MGCA) module, and a Text-Driven Attentional Fusion (TDAF) module. The SIG generates mask and text semantics based on textual descriptions. The MGCA module performs initial attention-based fusion of visual features from both infrared and visible images, guided by mask semantics. Finally, the TDAF module refines the fusion process with gated attention driven by text semantics. Extensive experiments demonstrate the competitiveness of our approach, particularly in terms of performance on downstream tasks, compared to existing state-of-the-art methods.
• Abstract（参考訳）: Infrared and visible image fusion (IVF) は、画像モダリティの相補的な情報を組み合わせて、より情報的で包括的な出力を作り出すことを目的としている。 近年、テキスト誘導型IVFは、柔軟性と汎用性から大きな可能性を秘めている。 しかし,テキスト意味情報の効果的な統合と活用についてはまだ十分に研究されていない。 これらの課題に対処するために,大規模な視覚言語モデル(VLM)から抽出したテキスト記述から,マスク意味レベルとテキスト意味レベルという2つのレベルにテキスト意味論を導入する。 そこで我々は, 画像合成過程を, 検出やセグメンテーションなどの下流タスクに最適化した方法でガイドするTeSGという, 赤外線および可視画像融合のためのテクスチュアル・セマンティック・ガイダンスを提案する。 具体的には、Semantic Information Generator(SIG)、Mask-Guided Cross-Attention(MGCA)モジュール、Text-Driven Attentional Fusion(TDAF)モジュールの3つのコアコンポーネントで構成されている。 SIGは、テキスト記述に基づいてマスクとテキストのセマンティクスを生成する。 MGCAモジュールは、マスクセマンティクスによって導かれる赤外線画像と可視画像の両方からの視覚的特徴の最初の注意に基づく融合を実行する。 最後に、TDAFモジュールは、テキストセマンティクスによって駆動される注意力で融合プロセスを洗練する。 大規模な実験は、既存の最先端手法と比較して、特に下流タスクのパフォーマンスの観点から、我々のアプローチの競争力を実証している。

関連論文リスト

• EntityCLIP: Entity-Centric Image-Text Matching via Multimodal Attentive Contrastive Learning [35.87830182497944]
  本稿では,textbfEntity中心の textbfImage-textbfText textbfMatching (EITM) 問題について検討する。 このタスクの課題は、主にエンティティ・アソシエーション・モデリングにおける大きなセマンティック・ギャップにある。 我々は,EITM問題に適応するマルチモーダル注意型コントラスト学習フレームワークを考案し,EntityCLIPというモデルを開発した。
  論文  参考訳（メタデータ） (2024-10-23T12:12:56Z)
• TextCoT: Zoom In for Enhanced Multimodal Text-Rich Image Understanding [91.30065932213758]
  大規模マルチモーダルモデル(LMM)は、その顕著な推論能力を活用することを目的とした研究の急増を引き起こした。 テキストリッチな画像理解のための新しいChain-of-ThoughtフレームワークであるTextCoTを提案する。 私たちのメソッドは追加のトレーニングが不要で、即時プラグアンドプレイ機能を提供します。
  論文  参考訳（メタデータ） (2024-04-15T13:54:35Z)
• Image Fusion via Vision-Language Model [91.36809431547128]
  VIsion-Language Model (FILM)による画像融合という新しい融合パラダイムを導入する。 FILMは画像からセマンティックプロンプトを生成し、それらをChatGPTに入力し、包括的なテキスト記述を行う。 これらの記述はテキスト領域内で融合され、視覚情報融合を導く。 FILMは、赤外線可視、医療、マルチ露光、マルチフォーカス画像融合の4つの画像融合タスクにおいて有望な結果を示している。
  論文  参考訳（メタデータ） (2024-02-03T18:36:39Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• TextFusion: Unveiling the Power of Textual Semantics for Controllable Image Fusion [38.61215361212626]
  本稿では,高度な画像融合のためのテキスト誘導融合パラダイムを提案する。 テキスト注釈付き画像融合データセットIVTをリリースする。 我々のアプローチは、従来の外見に基づく融合法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-12-21T09:25:10Z)
• Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis [12.954663420736782]
  本稿では,FF-GAN と呼ばれるファイングラファスなテキストイメージベースのジェネレーティブ・アドバーサリアル・ネットワークを提案する。 FF-GANは、微細なテキストイメージ融合ブロック(FF-Block)とGSR(Global Semantic Refinement)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-02-17T05:44:05Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。