論文の概要: Optimizing VLP-aligned Multimodal Intent Representation with Correct Visual Instantiation for Zero-Shot Composed Image Retrieval

• arxiv url: http://arxiv.org/abs/2609.36946v1
• Date: Tue, 29 Sep 2026 07:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.296536
• Title: Optimizing VLP-aligned Multimodal Intent Representation with Correct Visual Instantiation for Zero-Shot Composed Image Retrieval
• Title（参考訳）: ゼロショット合成画像検索のための直視インスティファイションによるVLP対応マルチモーダルインテント表現の最適化
• Abstract要約: ZS-CIRは、参照画像と修正テキストから、ペアの監督なしにターゲット画像を取得することを目的としている。 マルチモーダルな複合クエリを再構築するための統合ZS-CIRフレームワーク(VMIR-CVI)を提案する。
• 参考スコア（独自算出の注目度）: 58.19630180518339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ZS-CIR aims to retrieve a target image from a reference image and a modification text without paired supervision, typically by encoding composed queries as text-dominant representations within the image-text matching space of VLPs. However, queries reconstructed by visual pseudo-word learning or MLLM-based target reasoning often deviate from the native VLP representation space due to reference noise and coarse text fusion in the former, and verbose, weakly visually grounded descriptions in the latter. In this paper, we propose a unified ZS-CIR framework (named VMIR-CVI) to reconstruct multimodal composite queries from two complementary perspectives for optimizing VLP-compatible multimodal intent representation. First, it reasons and converts the multimodal intent into a unified textual description, aligning with the native text space of the VLP backbones to produce more retrieval-compatible textual queries. Second, it reconstructs the query representation with correctly decoupled visual instance cues, reducing reference noise while preserving target-relevant content. Specifically, a VLP-aligned Multimodal Intent Reasoning (VMIR) module injects few-shot VLP-style exemplars into chain-of-thought prompts, guiding the MLLM to generate target-consistent intent queries. A Training-free Visual Instance Disentanglement (TVID) module decouples fine-grained visual instances from global reference features without additional optimization. Finally, a lightweight Hybrid-modal Intent Alignment and Fusion (HIAF) module integrates the reasoned textual intent and disentangled visual cues into a unified hybrid-modal representation for robust ZS-CIR. Extensive experiments on three CIR benchmarks, namely CIRR, CIRCO and FashionIQ, show that VMIR-CVI significantly outperforms existing baselines and achieves new state-of-the-art performance. Code and trained models will be publicly released.
• Abstract（参考訳）: ZS-CIRは、VLPのイメージテキストマッチング空間内で、合成されたクエリをテキストに支配的な表現としてエンコードすることで、参照画像と修正テキストからターゲット画像を取得することを目的としている。 しかし、視覚的擬似単語学習やMLLMに基づくターゲット推論によって再構成されたクエリは、前者の参照ノイズや粗いテキスト融合により、しばしばネイティブなVLP表現空間から逸脱する。 本稿では,VLP互換のマルチモーダルインテント表現を最適化するための2つの相補的な視点から,ZS-CIRフレームワーク(VMIR-CVI)を提案する。 まず、マルチモーダルな意図を統一されたテキスト記述に変換し、VLPバックボーンのネイティブテキスト空間と整合させて、より検索互換なテキストクエリを生成する。 第二に、クエリ表現を正しく分離されたビジュアルインスタンスキューで再構築し、ターゲット関連コンテンツを保持しながら参照ノイズを低減する。 特に、VLP対応のマルチモーダルインテント推論(VMIR)モジュールは、少数ショットのVLPスタイルの例をチェーン・オブ・シークレットのプロンプトに注入し、MLLMにターゲット一貫性のあるインテントクエリを生成するように誘導する。 トレーニング不要のVisual Instance Disentanglement (TVID)モジュールは、グローバル参照機能から細粒度のビジュアルインスタンスを、追加の最適化なしで分離する。 最後に、Hybrid-Modal Intent Alignment and Fusion (HIAF)モジュールは、原因となるテキストの意図と切り離された視覚的手がかりを、堅牢なZS-CIRのための統一されたハイブリッドモーダル表現に統合する。 CIRR、CIRCO、FashionIQという3つのCIRベンチマークの大規模な実験は、VMIR-CVIが既存のベースラインを大幅に上回っており、新しい最先端のパフォーマンスを実現していることを示している。 コードとトレーニングされたモデルは公開されます。

関連論文リスト

• UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
  組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T08:16:50Z)
• MCoT-MVS: Multi-level Vision Selection by Multi-modal Chain-of-Thought Reasoning for Composed Image Retrieval [23.52156477012636]
  Composed Image Retrieval (CIR) は、参照画像と修正されたテキストに基づいてターゲット画像を取得することを目的としている。 CIRのためのMCoT-MVS(Multi-level Vision Selection)を提案する。
  論文  参考訳（メタデータ） (2026-03-18T04:49:19Z)
• MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
  Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。 MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:56:59Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• Compositional Image Retrieval via Instruction-Aware Contrastive Learning [40.54022628032561]
  Composed Image Retrieval (CIR)は、テキストとペアリングした画像の合成クエリに基づいてターゲットイメージを検索する。 実際には、下流タスクにおけるアノテートデータの不足のため、ゼロショットCIR(ZS-CIR)が望ましい。 命令調整型マルチモーダルLLM(MLLM)を用いて合成表現を生成する新しい埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2024-12-07T22:46:52Z)
• Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
  合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。 大規模視覚言語モデル(VLM)を用いた最近の研究動向 我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
  論文  参考訳（メタデータ） (2023-10-13T17:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。