論文の概要: FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval
- arxiv url: http://arxiv.org/abs/2607.02284v1
- Date: Thu, 02 Jul 2026 15:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.879601
- Title: FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval
- Title（参考訳）: FlowCIR:ゼロショット合成画像検索のためのフローマッチングによるセマンティックトランスポート
- Abstract要約: ZS-CIRは、ドメイン固有の三つ子に頼ることなく、自然言語で参照画像を編集してターゲット画像を取得することを目的としている。
既存のZS-CIR法の多くは、テキストのインバージョンを使って参照画像を擬似テキストトークンに変換し、テキスト空間の単純な連結を通して命令で構成する。
本稿では,ZS-CIRを参照とターゲット埋め込み間の条件付き意味伝達として使用するFlowCIRを提案する。
- 参考スコア（独自算出の注目度）: 15.55344484616571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot composed image retrieval (ZS-CIR) aims to retrieve a target image by editing a reference image with a natural-language instruction, without relying on domain-specific annotated triplets. Most existing ZS-CIR methods rely on textual inversion to translate the reference image into pseudo-text tokens and then compose them with the instruction via simple concatenation in the text space, which can be lossy and brittle for fine-grained semantics. In this work, we propose a new paradigm, namely FlowCIR, that casts ZS-CIR as conditional semantic transport between reference and target embeddings. Leveraging \emph{conditional flow matching}, our model learns a lightweight transport field that maps the instruction representation toward a target-aligned query embedding conditioned on the reference image. Since FlowCIR operates on pre-extracted VLM embeddings and trains only a small transport module without updating the image or text encoder, it offers a computationally efficient training protocol compared with prior textual-inversion-based approaches. The resulting framework is training-efficient, requiring roughly $10\times$ fewer training resources than prior textual-inversion-based approaches. We further identify negation and removal as a major failure mode of VLM-based composition. To address this, we propose an inference-only Multi-Negative Steering strategy that steers a negation-containing relative instruction away from its negated semantics, mitigating the limited negation handling of VLMs and improving robustness on negation-heavy queries. Extensive experiments on standard CIR benchmarks demonstrate that FlowCIR achieves strong and competitive performance compared with recent ZS-CIR methods.
- Abstract（参考訳）: ゼロショット合成画像検索(ZS-CIR)は、参照画像を自然言語で編集することで、ドメイン固有の注釈付き三つ子に頼ることなく、対象画像を検索することを目的としている。
既存のZS-CIR法の多くは、テキストのインバージョンに頼り、参照画像を擬似テキストトークンに変換し、テキスト空間の単純な結合を通して命令で構成する。
本研究では,ZS-CIRを参照とターゲットの埋め込み間の条件付きセマンティックトランスポートとして使用する新しいパラダイムであるFlowCIRを提案する。
我々のモデルは,emph{conditional flow matching}を活用することで,参照画像上に条件付きクエリを埋め込むための命令表現をマッピングする,軽量なトランスポートフィールドを学習する。
FlowCIRは、事前抽出されたVLM埋め込みで動作し、画像やテキストエンコーダを更新せずに小さなトランスポートモジュールのみを訓練するので、従来のテキストインバージョンベースのアプローチと比較して、計算的に効率的なトレーニングプロトコルを提供する。
結果として得られるフレームワークは、トレーニング効率が高く、従来のテキストインバージョンベースのアプローチよりも、トレーニングリソースが約10ドル以上必要になります。
また,VLM合成の失敗モードとして,否定や削除が重要であることも確認した。
そこで本研究では,否定を含む相対的命令を否定的セマンティクスから切り離し,VLMの限定的否定処理を緩和し,否定重大クエリの堅牢性を向上する推論専用多否定ステアリング戦略を提案する。
最近のZS-CIR法と比較して,FlowCIRが強靭かつ競争的な性能を発揮することを示す。
関連論文リスト
- DiCE-CIR: Direct Composition Learning for Efficient Zero-Shot Composed Image Retrieval [52.15696141238419]
ゼロショット合成画像検索(ZS-CIR)は、参照画像と編集テキストからなるマルチモーダルクエリから対象画像を検索することを目的としている。
提案するDiCE-CIRは,参照画像と編集テキストを直接合成することで,合成されたクエリ表現を予測する直接合成学習手法である。
論文 参考訳（メタデータ） (2026-07-06T04:37:30Z) - Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval [61.75093083322011]
DeCIRは推論複雑性を増大させることなくプロジェクションベースのZS-CIRを一貫して改善することを示す。
CIRR、CIRCO、FashionIQ、GeneCISの実験により、DeCIRは推論複雑性を増大させることなく、射影ベースのZS-CIRを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-08T18:55:41Z) - Multimodal Reasoning Agent for Zero-Shot Composed Image Retrieval [52.709090256954276]
Zero-Shot Composed Image Retrieval (ZS-CIR) は、合成クエリによってターゲット画像を取得することを目的としている。
本稿では,ZS-CIRにMRA(Multimodal Reasoning Agent)を用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T13:17:50Z) - Data-Efficient Generalization for Zero-shot Composed Image Retrieval [67.46975191141928]
ZS-CIRは、トレーニングのために配布する三つ子を必要とせず、参照画像とテキスト記述に基づいて対象画像を検索することを目的としている。
1つの一般的なアプローチは、マッピングネットワークを用いてテキスト埋め込み空間内の擬似ワードトークンに画像埋め込みを転送するビジョン言語事前学習パラダイムである。
テキスト・サプリメント(TS)モジュールとセマンティック・セット(S-Set)という2つの新しい設計を含む,データ効率の一般化(DeG)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-07T07:49:31Z) - Compositional Image Retrieval via Instruction-Aware Contrastive Learning [40.54022628032561]
Composed Image Retrieval (CIR)は、テキストとペアリングした画像の合成クエリに基づいてターゲットイメージを検索する。
実際には、下流タスクにおけるアノテートデータの不足のため、ゼロショットCIR(ZS-CIR)が望ましい。
命令調整型マルチモーダルLLM(MLLM)を用いて合成表現を生成する新しい埋め込み手法を提案する。
論文 参考訳（メタデータ） (2024-12-07T22:46:52Z) - Training-free Zero-shot Composed Image Retrieval via Weighted Modality Fusion and Similarity [2.724141845301679]
合成画像検索(CIR)は、参照画像と修正テキストの組み合わせとしてクエリを定式化する。
本稿では,ZS-CIRのためのトレーニングフリーアプローチを提案する。
提案手法は単純で実装が容易であり,FashionIQおよびCIRRデータセットを用いた実験によりその有効性が検証された。
論文 参考訳（メタデータ） (2024-09-07T21:52:58Z) - Spherical Linear Interpolation and Text-Anchoring for Zero-shot Composed Image Retrieval [43.47770490199544]
Composed Image Retrieval (CIR)は、画像とキャプションで構成されたクエリを使って画像を取得する複雑なタスクである。
Slerp(Spherical Linear Interpolation)を用いて画像とテキストを直接マージする新しいZS-CIR手法を提案する。
また,テキストエンコーダを固定しながら画像エンコーダを微調整するText-Anchored-Tuning (TAT)を導入する。
論文 参考訳（メタデータ） (2024-05-01T15:19:54Z) - Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking [34.31345844296072]
合成画像検索は、参照画像と対応する修正テキストの合成クエリを通して、ギャラリー画像から興味のある画像を検索しようとする。
現在の構成画像検索手法の多くは、参照画像、修正テキスト、対応するターゲット画像からなるコストのかかる3重化データセットのトレーニングに対する教師付き学習アプローチに従っている。
そこで本研究では,学習不要なゼロショット合成画像検索手法を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:31:01Z) - Language-only Efficient Training of Zero-shot Composed Image Retrieval [46.93446891158521]
合成画像検索(CIR)タスクは、画像とテキストの合成クエリを処理し、両方の条件で相対的な画像を検索する。
本稿では,学習に言語のみを用いる新しいCIRフレームワークを提案する。
我々のLinCIR(Language-only Training for CIR)は、SMP(Self-Masking projection)と呼ばれる新しいセルフスーパービジョンによって、テキストデータセットでのみ訓練することができる。
論文 参考訳（メタデータ） (2023-12-04T16:22:06Z) - Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。
大規模視覚言語モデル(VLM)を用いた最近の研究動向
我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
論文 参考訳（メタデータ） (2023-10-13T17:59:38Z) - Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。
本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。
提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
論文 参考訳（メタデータ） (2023-10-09T07:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。