論文の概要: UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval

• arxiv url: http://arxiv.org/abs/2604.20318v1
• Date: Wed, 22 Apr 2026 08:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.037624
• Title: UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval
• Title（参考訳）: UniCVR: 統一されたゼロショット構成ビジュアル検索のためのアライメントからリライジングへ
• Authors: Haokun Wen, Xuemeng Song, Haoyu Zhang, Xiangyu Zhao, Weili Guan, Liqiang Nie,
• Abstract要約: 組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
• 参考スコア（独自算出の注目度）: 87.12447641908143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Composed image retrieval, multi-turn composed image retrieval, and composed video retrieval all share a common paradigm: composing the reference visual with modification text to retrieve the desired target. Despite this shared structure, the three tasks have been studied in isolation, with no prior work proposing a unified framework, let alone a zero-shot solution. In this paper, we propose UniCVR, the first unified zero-shot composed visual retrieval framework that jointly addresses all three tasks without any task-specific human-annotated data. UniCVR strategically combines two complementary strengths: Multimodal Large Language Models (MLLMs) for compositional query understanding and Vision-Language Pre-trained (VLP) models for structured visual retrieval. Concretely, UniCVR operates in two stages. In Stage I, we train the MLLM as a compositional query embedder via contrastive learning on a curated multi-source dataset of approximately 3.5M samples, bridging the heterogeneous embedding spaces between the MLLM and the frozen VLP gallery encoder. A cluster-based hard negative sampling strategy is proposed to strengthen contrastive supervision. In Stage II, we introduce an MLLM-guided dual-level reranking mechanism that applies adaptive budgeted subset scoring to a small number of top-ranked candidates, and then exploits the resulting relevance signals through a dual-level re-scoring scheme, producing more accurate final rankings with minimal computational overhead. Extensive experiments across five benchmarks covering all three tasks demonstrate that UniCVR achieves cutting-edge performance, validating its effectiveness and generalizability. Our data and code will be released upon acceptance.
• Abstract（参考訳）: 合成画像検索、マルチターン合成画像検索、合成ビデオ検索は全て共通のパラダイムを共有している。 この共有構造にもかかわらず、3つのタスクは独立して研究されている。 本稿では,タスク固有の人手による注釈付きデータなしで3つのタスクすべてに共同で対処する,最初の統合ゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、合成クエリ理解のためのMLLM(Multimodal Large Language Models)と、構造化されたビジュアル検索のためのVLP(Vision-Language Pre-trained)モデルという2つの相補的な強みを戦略的に組み合わせている。 具体的には、UniCVRは2段階で動作する。 ステージIでは,MLLMと冷凍VLPギャラリーエンコーダとの間の不均一な埋め込み空間をブリッジし,約3.5Mサンプルのキュレートされたマルチソースデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 クラスタベースのハードネガティブサンプリング戦略は、対照的な監視を強化するために提案される。 段階IIでは、MLLM誘導の2段階再ランク機構を導入し、少数の上位候補に適応的予算付きサブセットスコアを適用し、さらに2段階再スコア方式により結果の関連信号を活用し、計算オーバーヘッドを最小限に抑えたより正確な最終ランク付けを行う。 3つのタスクすべてをカバーする5つのベンチマークにわたる大規模な実験は、UniCVRが最先端のパフォーマンスを達成し、その有効性と一般化性を検証することを示した。 私たちのデータとコードは受け入れ次第リリースされます。

関連論文リスト

• Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning [47.868429337792314]
  Fine-R1は、ファイングラインド視覚認識用に設計されたR1スタイルのMLLMである。 4ショットのトレーニングだけで、Fine-R1は既存のMLLMよりも優れており、MLLMの推論や、対照的なCLIPモデルも優れている。
  論文  参考訳（メタデータ） (2026-02-07T16:16:51Z)
• CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
  Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。 CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T09:21:38Z)
• Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
  本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。 VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。 ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
  論文  参考訳（メタデータ） (2025-10-21T14:59:29Z)
• Automatic Synthesis of High-Quality Triplet Data for Composed Image Retrieval [25.071276825826047]
  Composed Image Retrieval (CIR)は、マルチモーダル(image+text)クエリを使ってターゲット画像を取得することを目的としている。 完全合成データセットであるComposeed Image Retrieval on High-quality Synthetic Triplets (CIRHS)とともに,自動三重項生成のためのスケーラブルパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-07-08T13:24:05Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。