論文の概要: MulVec: Fine-Grained Role-Aware Matching for Training-Free Zero-Shot Composed Image Retrieval
- arxiv url: http://arxiv.org/abs/2608.25305v1
- Date: Wed, 26 Aug 2026 02:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.534144
- Title: MulVec: Fine-Grained Role-Aware Matching for Training-Free Zero-Shot Composed Image Retrieval
- Title(参考訳): MulVec: ゼロショットコンポジション画像検索のための微粒なロールアウェアマッチング
- Abstract要約: 訓練不要なゼロショット合成画像検索は、基準画像とテキスト編集からギャラリー内の目標画像をタスク固有の画像トリガから学習することなく検索する。
MULVECは、コンパイラが4つの検索ロールにマッピングされた構造化クエリレコードを生成するロール認識方式である。
- 参考スコア(独自算出の注目度): 42.66788371967959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training-free zero-shot composed image retrieval finds a target image in a gallery from a reference image and a text edit without learning from task-specific image triplets. Existing methods typically describe the target as a whole and match this description with a global image representation. This global matching can mix different semantic cues and lose fine- grained details. We propose MULVEC, a role-aware method whose compiler produces a structured query record that is mapped to four retrieval roles: Global describes the full target, Desired states what should appear, Preserve states what should remain, and Forbidden states what should disappear. Frozen encoders map the query to one target description vector and role-specific probe vectors, while each candidate is represented by one global visual vector and a bank of local visual vectors. The retrieval roles then use this shared evidence for their respective purposes, and a fixed weighted sum of their scores ranks the entire gallery in a single retrieval pass. Across CIRCO, CIRR, and FashionIQ and three backbone scales, MULVEC improves CIRCO mAP@5 by up to 23.0% over the strongest compared method and gives the best CIRR and FashionIQ results in our comparison.
- Abstract(参考訳): 訓練不要なゼロショット合成画像検索は、基準画像とテキスト編集からギャラリー内の目標画像をタスク固有の画像トリガから学習することなく検索する。
既存の方法は一般的にターゲット全体を記述し、この記述をグローバルな画像表現と一致させる。
このグローバルマッチングは、異なるセマンティックな手がかりを混ぜ合わせることができ、きめ細かい詳細を失う。
我々は,コンパイラが4つの検索ロールにマッピングされる構造化クエリレコードを生成するロール認識方式であるMULVECを提案する。
凍結エンコーダはクエリを1つのターゲット記述ベクトルとロール固有のプローブベクトルにマップし、各候補は1つのグローバルビジュアルベクトルと1つのローカルビジュアルベクトルで表される。
検索ロールは、それぞれの目的について共有された証拠を使用し、それらのスコアの固定された重み付けの合計は、ギャラリー全体を単一の検索パスでランク付けする。
CIRCO、CIRR、FashionIQ、および3つのバックボーンスケールにおいて、MULVECはCIRCO mAP@5を最大23.0%改善し、最も優れたCIRRおよびFashionIQ結果を与える。
関連論文リスト
- Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets [61.420656457977195]
Zero-Shot Composed Image Retrieval (ZS-CIR) は、参照画像と相対キャプションからなるクエリに基づいて、サンプルをトレーニングせずにターゲット画像を取得することを目的としている。
既存のZS-CIRデータセットは、ノイズの多い画像ソースのため、参照画像とターゲット画像の完全な不一致に悩まされることが多い。
ZS-CIRの新しいベンチマークであるZeroSightを紹介する。
論文 参考訳(メタデータ) (2026-06-05T08:23:25Z) - Fine-Grained Zero-Shot Composed Image Retrieval with Complementary Visual-Semantic Integration [64.12127577975696]
ゼロショット合成画像検索(ZS-CIR)は急速に発展し,実用化が進んでいる分野である。
既存のZS-CIR法は、細粒度の変化を捉え、視覚情報と意味情報を効果的に統合するのに苦労することが多い。
補足型ビジュアルセマンティック統合を用いたファイングラインドゼロショット合成画像検索手法を提案する。
論文 参考訳(メタデータ) (2026-01-20T15:17:14Z) - UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries [3.6723140587841656]
Image-Guided Retrieval with Optional Text (IGROT) は、クエリがアンカーイメージで構成され、テキストに付随するか否かに関わらず、意味論的に関連付けられたターゲットイメージを検索する一般的な検索設定である。
本研究では,低データ管理下でIGROTに対処するため,Null-textプロンプトでイメージを融合させる軽量で汎用的なターゲット表現であるUNIONを導入する。
論文 参考訳(メタデータ) (2025-11-27T09:28:28Z) - SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval [2.624097337766623]
Composed Image Retrieval (CIR) は、ユーザが指定したテキスト修正を取り入れつつ、参照画像の視覚的内容を保存するターゲット画像の検索を目的としている。
ZS-CIRを強化するために,MLLM(Multimodal Large Language Models)を利用した新しい2段階学習自由フレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-30T14:41:24Z) - Chain-of-Thought Re-ranking for Image Retrieval Tasks [16.13448876168839]
そこで我々は,画像検索に対処する新しいChain-of-Thought Re-Ranking(CoTRR)手法を提案する。
MLLMがリストワイズ推論を行えるようにすることで,グローバル比較,一貫した推論,解釈可能な意思決定をサポートする。
提案手法は,テキスト・トゥ・イメージ検索(TIR),合成画像検索(CIR),チャットベースの画像検索(Chat-IR)など,3つの画像検索タスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2025-09-18T08:48:46Z) - Multimodal Reasoning Agent for Zero-Shot Composed Image Retrieval [52.709090256954276]
Zero-Shot Composed Image Retrieval (ZS-CIR) は、合成クエリによってターゲット画像を取得することを目的としている。
本稿では,ZS-CIRにMRA(Multimodal Reasoning Agent)を用いた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-26T13:17:50Z) - Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking [34.31345844296072]
合成画像検索は、参照画像と対応する修正テキストの合成クエリを通して、ギャラリー画像から興味のある画像を検索しようとする。
現在の構成画像検索手法の多くは、参照画像、修正テキスト、対応するターゲット画像からなるコストのかかる3重化データセットのトレーニングに対する教師付き学習アプローチに従っている。
そこで本研究では,学習不要なゼロショット合成画像検索手法を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:31:01Z) - Pic2Word: Mapping Pictures to Words for Zero-shot Composed Image
Retrieval [84.11127588805138]
Composed Image Retrieval (CIR)は、クエリイメージとテキストを組み合わせて、対象とするターゲットを記述する。
既存の方法は、クエリ画像、テキスト仕様、ターゲット画像からなるラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。
我々は,ラベル付き三重項学習を必要とせずにCIRモデルを構築することを目的として,Zero-Shot Composed Image Retrieval (ZS-CIR)を提案する。
論文 参考訳(メタデータ) (2023-02-06T19:40:04Z) - DOLG: Single-Stage Image Retrieval with Deep Orthogonal Fusion of Local
and Global Features [42.62089148690047]
エンドツーエンドの画像検索のための情報融合フレームワークとして,Deep Orthogonal Local and Global (DOLG)を提案する。
マルチアトラスな畳み込みと自己注意によって、代表的ローカル情報を注意深く抽出する。
フレームワーク全体がエンドツーエンドの差別化が可能で、イメージレベルのラベルでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-08-06T03:14:09Z) - Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based
Image Retrieval [55.29233996427243]
ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。
本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。
これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。
以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
論文 参考訳(メタデータ) (2020-06-20T22:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。