論文の概要: Win-Win Fusion: Multi-Modal Image Fusion with Visual-Semantic Collaboration

• arxiv url: http://arxiv.org/abs/2610.12887v1
• Date: Fri, 09 Oct 2026 02:22:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.354957
• Title: Win-Win Fusion: Multi-Modal Image Fusion with Visual-Semantic Collaboration
• Title（参考訳）: Win-Win Fusion:ビジュアル・セマンティック・コラボレーションによるマルチモーダル画像融合
• Abstract要約: マルチモーダル画像融合のための新しい視覚意味相互パラダイムであるW2Fを提案する。 特徴相補性を増幅することにより,視覚・セマンティックコラボレーションの基礎を補強する。 また,対話型混在注意を用いたマルチモーダル情報対話機構も導入する。 W2Fは、視覚的魅力と意思決定の精度の両方において最先端の手法を超越していることを示す実験である。
• 参考スコア（独自算出の注目度）: 34.93226141786428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing multi-modal image fusion (MMIF) methods generally face an optimization gap between the visual and semantic domains, limiting the enhancement of perception capabilities. To overcome this long-standing barrier, this work proposes W2F, a new visual-semantic mutual reinforcing paradigm for MMIF. First, we reinforce the foundation for visual-semantic collaboration by amplifying feature complementarity through two targeted designs. Specifically, the segmentation-guided fusion loss introduces object-aware structural guidance into visual fusion, while the embedded information restoration prior strengthens the ability of visual fusion to provide reliable perceptual evidence for the semantic branch under degraded conditions. Then, we introduce a strong multi-modal information interaction mechanism composed of interactive gated mixed attention (IGM-Att) and progressive coupling attention (PC-Att). These modules ensure comprehensive scene representation from both local and global perspectives, providing informational support for visual-semantic collaboration. Finally, we construct a collaborative mechanism to couple visual fusion and semantic fusion. It employs a feature search module to extract complementary key features from both tasks, enriching the representational potential of visual and semantic information. Meanwhile, a gradient correction strategy ensures collaboration from the optimization perspective, enhancing performance for both visual and semantic fusion through consistency learning. Extensive experiments demonstrate that W2F surpasses state-of-the-art methods in both visual appeal and decision accuracy. The code is publicly available at https://github.com/HaoZhang1018/W2F.
• Abstract（参考訳）: 既存のMMIF(Multi-modal image fusion)法は一般的に視覚領域と意味領域の間の最適化のギャップに直面し、知覚能力の増強を制限している。 この長期的障壁を克服するために、この研究は、MMIFのための新しい視覚的意味的相互強化パラダイムであるW2Fを提案する。 まず,2つのターゲットデザインによる特徴相補性を増幅することにより,視覚的セマンティックコラボレーションの基礎を補強する。 具体的には、セグメンテーション誘導融合損失は、視覚融合にオブジェクト認識構造ガイダンスを導入し、組込み情報復元は、視覚融合の能力を強化し、劣化した条件下での意味分岐に対する信頼性の高い知覚的証拠を提供する。 そこで我々は,対話型ゲート混在注意(IGM-Att)とプログレッシブカップリング注意(PC-Att)からなる,強力なマルチモーダル情報インタラクション機構を導入する。 これらのモジュールは、ローカルとグローバルの両方の観点から総合的なシーン表現を保証し、ビジュアル・セマンティック・コラボレーションのための情報支援を提供する。 最後に,視覚融合と意味融合を結合する協調機構を構築する。 両方のタスクから補完的な重要な特徴を抽出するために機能検索モジュールを使用し、視覚情報と意味情報の表現可能性を強化している。 一方、勾配補正戦略により、最適化の観点からの協調が保証され、一貫性学習による視覚的および意味的融合のパフォーマンスが向上する。 広汎な実験により、W2Fは視覚的魅力と意思決定精度の両方において最先端の手法を超越していることが示された。 コードはhttps://github.com/HaoZhang1018/W2Fで公開されている。

関連論文リスト

• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Enhancing Multimodal Recommendations with Vision-Language Models and Information-Aware Fusion [11.914081442317494]
  VIRALは、Vision-Language and Information-Aware Recommendationフレームワークである。 意味的に整合した画像表現のための、きめ細かいタイトル誘導記述を生成する。 3つのAmazonデータセットの実験によると、VIRALは強いマルチモーダルベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-03T23:01:27Z)
• Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection [0.0]
  マルチモーダル学習は重要な研究の方向性として浮上している。 既存のアプローチは、しばしばクロスモーダル相互作用の不足と固い融合戦略に悩まされる。 本稿では,Co-AttenDWGを提案する。 我々は,Co-AttenDWGが最先端性能と優れたクロスモーダルアライメントを実現することを示す。
  論文  参考訳（メタデータ） (2025-05-25T07:26:00Z)
• Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System [22.331591533400402]
  インテリジェントトランスポートシステム(ITS)における赤外線および可視画像融合(IVF)の役割 本稿では,2つのモーダリティ戦略に基づく先行的意味誘導画像融合法を提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:41:50Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)
• Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image Fusion [51.22863068854784]
  赤外線と可視画像の融合はコンピュータビジョンの分野において重要な役割を果たす。 従来のアプローチでは、損失関数の様々な融合ルールを設計する努力が続けられていた。 セマンティックガイダンスを十分に活用する意味レベル融合ネットワークを開発した。
  論文  参考訳（メタデータ） (2022-11-22T13:59:59Z)
• Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation [87.01669173673288]
  本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。 EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。 4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-05T02:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。