論文の概要: Training-Free Pseudo-Fusion for Composed Image Retrieval with Diffusion Models and Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.23102v1
• Date: Mon, 24 Aug 2026 11:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.031672
• Title: Training-Free Pseudo-Fusion for Composed Image Retrieval with Diffusion Models and Multimodal Large Language Models
• Title（参考訳）: 拡散モデルと多モード大言語モデルを用いた合成画像検索のための学習自由擬似融合
• Abstract要約: Composed Image Retrieval (CIR) はコンテンツベース画像検索における新たなパラダイムである。 本研究では,事前訓練された拡散モデルとマルチモーダル大言語モデルを利用する学習自由フレームワークPeFuseを提案する。 CIRを4つの単一モダリティ検索問題に変換する一方向変換と双方向変換の2つの新しい戦略を導入する。
• 参考スコア（独自算出の注目度）: 10.421702262520775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Composed Image Retrieval (CIR) is an emerging paradigm in content-based image retrieval that enables users to formulate compositional queries by combining a reference image with an auxiliary modality, usually text-based. This approach supports fine-grained search where the target image shares structural elements with the user-provided image while incorporating the modifications specified by the auxiliary text. Conventional CIR methods rely on multimodal fusion to combine visual and textual features into a joint query embedding, which requires training modules that align composed queries with the targets. In this work, we propose PeFuse (for pseudo-fusion), a training-free framework that leverages pretrained Diffusion Models and Multimodal Large Language Models to bridge modalities via generative conversion. We introduce two novel strategies: uni-directional and bi-directional conversion, which convert CIR into four single-modality retrieval problems. These methods reformulate CIR as either intra-modal or cross-modal single-query retrieval tasks, bypassing the need for dedicated task-specific training. Extensive experiments on standard benchmarks demonstrate that converting CIR into text-to-image retrieval tasks is more effective than alternative conversion strategies, achieving competitive or superior performance compared with state-of-the-art methods, while maintaining high flexibility thanks to replaceable components of the conversion pipeline. These results highlight the effectiveness of the pseudo-fusion paradigm for zero-shot CIR. Our code is publicly available at: https://github.com/StevenXuf/PeFuse4CIR.
• Abstract（参考訳）: Composed Image Retrieval (CIR)は、コンテントベースの画像検索における新たなパラダイムであり、ユーザーは、参照画像と、通常テキストベースの補助モダリティを組み合わせることで、コンポジションクエリを定式化することができる。 提案手法は,対象画像がユーザが提供する画像と構造要素を共有し,補助テキストで指定された修正を取り入れた詳細な検索を支援する。 従来のCIRメソッドは、視覚的特徴とテキスト的特徴を結合したクエリの埋め込みに結合するために、マルチモーダル融合に依存しており、これは、合成クエリをターゲットと整列させるトレーニングモジュールを必要とする。 本研究では,事前学習した拡散モデルとマルチモーダル大言語モデルを利用して生成変換によるモダリティのブリッジを行う学習自由フレームワークPeFuseを提案する。 CIRを4つの単一モダリティ検索問題に変換する一方向変換と双方向変換の2つの新しい戦略を導入する。 これらの方法は、CIRをモーダル内またはクロスモーダルな単一クエリ検索タスクとして再構成し、専用のタスク固有のトレーニングの必要性を回避している。 標準ベンチマークにおける大規模な実験により、CIRをテキストから画像への検索タスクに変換することは、代替の変換戦略よりも効果的で、最先端の手法と比較して競争力や優れた性能を達成でき、変換パイプラインの代替可能なコンポーネントによって高い柔軟性を維持していることが示された。 これらの結果は、ゼロショットCIRに対する擬似融合パラダイムの有効性を浮き彫りにした。 私たちのコードは、https://github.com/StevenXuf/PeFuse4CIRで公開されています。

関連論文リスト

• Do Composed Image Retrieval Benchmarks Require Multimodal Composition? [86.99911649534795]
  合成画像検索ベンチマークでは,マルチモーダルな構成が必要であると推定される。 4つの広く使用されているCIRベンチマークと11のジェネリストマルチモーダルエンベディングモデルで、クエリの大部分が単一モードで解決できる。 CIRの性能は、真のマルチモーダル合成ではなく、単一モーダル信号から生じる。
  論文  参考訳（メタデータ） (2026-05-14T12:56:36Z)
• Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
  本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。 VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。 ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
  論文  参考訳（メタデータ） (2025-10-21T14:59:29Z)
• Recurrence Meets Transformers for Universal Multimodal Retrieval [59.92546492752452]
  ReT-2は画像とテキストの両方からなるマルチモーダルクエリをサポートする統合検索モデルである。 検索構成の異なるM2KRとM-BEIRのベンチマークでReT-2を評価する。 検索強化された生成パイプラインに統合されると、ReT-2はEncyclopedic-VQAとInfoSeekデータセットのダウンストリームのパフォーマンスも向上する。
  論文  参考訳（メタデータ） (2025-09-10T18:00:29Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval [44.008094698200026]
  クロスモーダル検索は研究コミュニティから有効性や関心が増している。 本稿では,画像とテキストの両方からなるマルチモーダルクエリを実現するアプローチを設計する。 我々のモデルであるReTは、視覚とテキストの両方のバックボーンの異なるレイヤから抽出されたマルチレベル表現を用いる。
  論文  参考訳（メタデータ） (2025-03-03T19:01:17Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Compositional Image Retrieval via Instruction-Aware Contrastive Learning [40.54022628032561]
  Composed Image Retrieval (CIR)は、テキストとペアリングした画像の合成クエリに基づいてターゲットイメージを検索する。 実際には、下流タスクにおけるアノテートデータの不足のため、ゼロショットCIR(ZS-CIR)が望ましい。 命令調整型マルチモーダルLLM(MLLM)を用いて合成表現を生成する新しい埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2024-12-07T22:46:52Z)
• Modality and Task Adaptation for Enhanced Zero-shot Composed Image Retrieval [20.612534837883892]
  Zero-Shot Composed Image Retrieval (ZS-CIR) はバイモーダル (image+text) クエリを用いてターゲット画像を取得するように設計されている。 本稿では,2つのコンポーネントからなる軽量なポストホックフレームワークを提案する。 実験により,提案するコンポーネントを組み込むことで,インバージョンに基づく手法が大幅な改善を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-31T08:49:05Z)
• Training-free Zero-shot Composed Image Retrieval via Weighted Modality Fusion and Similarity [2.724141845301679]
  合成画像検索(CIR)は、参照画像と修正テキストの組み合わせとしてクエリを定式化する。 本稿では,ZS-CIRのためのトレーニングフリーアプローチを提案する。 提案手法は単純で実装が容易であり,FashionIQおよびCIRRデータセットを用いた実験によりその有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-07T21:52:58Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。