論文の概要: ADaFuSE: Adaptive Diffusion-generated Image and Text Fusion for Interactive Text-to-Image Retrieval

• arxiv url: http://arxiv.org/abs/2603.21886v1
• Date: Mon, 23 Mar 2026 12:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.659448
• Title: ADaFuSE: Adaptive Diffusion-generated Image and Text Fusion for Interactive Text-to-Image Retrieval
• Title（参考訳）: ADaFuSE: 対話型テキスト-画像検索のための適応拡散生成画像とテキスト融合
• Authors: Zhuocheng Zhang, Xingwu Zhang, Kangheng Liang, Guanxuan Li, Richard Mccreadie, Zijun Long,
• Abstract要約: 拡散拡張I-TIRの多モードビューの調整と校正を目的とした軽量融合モデルであるADaFuSEを提案する。 ADaFuSEは,Hits@10では最大3.49%,パラメータは5.29%向上した。
• 参考スコア（独自算出の注目度）: 8.780427902086789
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in interactive text-to-image retrieval (I-TIR) use diffusion models to bridge the modality gap between the textual information need and the images to be searched, resulting in increased effectiveness. However, existing frameworks fuse multi-modal views of user feedback by simple embedding addition. In this work, we show that this static and undifferentiated fusion indiscriminately incorporates generative noise produced by the diffusion model, leading to performance degradation for up to 55.62% samples. We further propose ADaFuSE (Adaptive Diffusion-Text Fusion with Semantic-aware Experts), a lightweight fusion model designed to align and calibrate multi-modal views for diffusion-augmented I-TIR, which can be plugged into existing frameworks without modifying the backbone encoder. Specifically, we introduce a dual-branch fusion mechanism that employs an adaptive gating branch to dynamically balance modality reliability, alongside a semantic-aware mixture-of-experts branch to capture fine-grained cross-modal nuances. Via thorough evaluation over four standard I-TIR benchmarks, ADaFuSE achieves state-of-the-art performance, surpassing DAR by up to 3.49% in Hits@10 with only a 5.29% parameter increase, while exhibiting stronger robustness to noisy and longer interactive queries. These results show that generative augmentation coupled with principled fusion provides a simple, generalizable alternative to fine-tuning for interactive retrieval.
• Abstract（参考訳）: 近年のインタラクティブテキスト・ツー・イメージ検索(I-TIR)では,テキスト情報の必要性と検索対象画像とのモダリティギャップを埋めるために拡散モデルが用いられている。 しかし、既存のフレームワークは、シンプルな埋め込み追加によって、ユーザフィードバックのマルチモーダルビューを融合させる。 本研究では, 拡散モデルによる生成ノイズを無差別に取り込み, 最大55.62%の試料に対して性能劣化をもたらすことを示す。 さらに,ADaFuSE(Adaptive Diffusion-Text Fusion with Semantic-aware Experts)を提案する。 具体的には、適応的なゲーティング分岐を用いて、モダリティの信頼性を動的にバランスさせるデュアルブランチ融合機構と、細粒度のクロスモーダルニュアンスを捉えるセマンティック・アウェア・ミックス・オブ・エキスパート・ブランチを導入する。 4つの標準I-TIRベンチマークに対する徹底的な評価により、ADaFuSEは最先端のパフォーマンスを達成し、Hits@10では最大3.49%、パラメータは5.29%向上した。 これらの結果から, ジェネレーティブ拡張と原理融合は, 対話型検索のためのファインチューニングに代わる, シンプルで一般化可能な代替手段であることがわかった。

関連論文リスト

• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• Generative Editing in the Joint Vision-Language Space for Zero-Shot Composed Image Retrieval [11.724675700368316]
  Composed Image Retrieval (CIR)は、参照画像とテキスト修正を組み合わせることで、きめ細かいビジュアル検索を可能にする。 マルチモーダルアライメントのために設計された高効率・データ効率の新たな生成編集フレームワークであるFusion-Diffを提案する。
  論文  参考訳（メタデータ） (2025-12-01T13:04:55Z)
• VMDiff: Visual Mixing Diffusion for Limitless Cross-Object Synthesis [23.50866105623598]
  本稿では,ノイズレベルと潜時レベルの両方で2つの入力画像を統合することで,単一のコヒーレントオブジェクトを合成する拡散ベースフレームワークを提案する。 本手法は, 視覚的品質, 意味的整合性, 人格的創造性において, 高いベースラインを達成している。
  論文  参考訳（メタデータ） (2025-09-28T03:17:58Z)
• FAR-Net: Multi-Stage Fusion Network with Enhanced Semantic Alignment and Adaptive Reconciliation for Composed Image Retrieval [36.03123811283016]
  セマンティックアライメントとアダプティブアライメントを備えた多段階融合フレームワークであるFAR-Netを提案する。 CIRRとFashionIQの実験は、一貫性のあるパフォーマンス向上を示し、Recall@1を2.4%改善し、Recall@50を1.04%改善した。
  論文  参考訳（メタデータ） (2025-07-17T06:30:41Z)
• An Intermediate Fusion ViT Enables Efficient Text-Image Alignment in Diffusion Models [18.184158874126545]
  異なる融合戦略が視覚言語アライメントにどのように影響するかを検討する。 特別に設計された中間融合により、テキストと画像のアライメントが向上し、生成品質が向上する。 このモデルでは, FLOPを20%削減し, トレーニング速度を50%向上させるとともに, より高いCLIPスコアと低いFIDを実現する。
  論文  参考訳（メタデータ） (2024-03-25T08:16:06Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。