論文の概要: Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval
- arxiv url: http://arxiv.org/abs/2605.08389v1
- Date: Fri, 08 May 2026 18:55:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.607979
- Title: Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval
- Title(参考訳): ゼロショット合成画像検索のためのエンドポイントと意味遷移学習の分離
- Authors: Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai,
- Abstract要約: DeCIRは推論複雑性を増大させることなくプロジェクションベースのZS-CIRを一貫して改善することを示す。
CIRR、CIRCO、FashionIQ、GeneCISの実験により、DeCIRは推論複雑性を増大させることなく、射影ベースのZS-CIRを一貫して改善することを示した。
- 参考スコア(独自算出の注目度): 61.75093083322011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot composed image retrieval (ZS-CIR) retrieves a target image from a reference image and a text modification without human-annotated CIR triplets. Projection-based ZS-CIR methods are attractive because they do not rely on LLMs at inference and remain lightweight, but they often underperform LLM-based approaches on complex semantic modifications. This gap reflects a semantic transition bottleneck in projection-based ZS-CIR: endpoint-level matching can let the edit text act as a target-side attribute cue rather than grounding it as a source-conditioned semantic transition. We further show that adding semantic transition supervision to the same text adapter creates an endpoint--transition conflict between endpoint alignment and semantic transition alignment. To address this conflict, DeCIR decouples endpoint and transition learning. It constructs paired forward/reverse edit tuples from image-caption pairs, trains separate low-rank text adapter branches for endpoint alignment and semantic transition alignment, and merges them with Low-Rank Directional Merge (LRDM) into one deployable adapter. Extensive experiments on CIRR, CIRCO, FashionIQ, and GeneCIS demonstrate that DeCIR consistently improves projection-based ZS-CIR without increasing inference complexity.
- Abstract(参考訳): ゼロショット合成画像検索(ZS-CIR)は、基準画像から目標画像を検索し、人間注釈のCIR三レットなしでテキスト修正を行う。
射影に基づくZS-CIR法は、推論時にLLMを頼らず、軽量でありながら、複雑な意味修正においてLLMベースのアプローチを過小評価することが多いため、魅力的である。
このギャップは、プロジェクションベースのZS-CIRにおけるセマンティック・トランジションのボトルネックを反映している。エンドポイントレベルのマッチングは、ソース条件のセマンティック・トランジションとしてではなく、編集テキストをターゲット側の属性キューとして振る舞うことができる。
さらに、同じテキストアダプタにセマンティック・トランジションの監督を加えることで、エンドポイントのアライメントとセマンティック・トランジションのアライメントのコンフリクトが発生することを示す。
この対立に対処するため、DeCIRはエンドポイントとトランジション学習を分離する。
イメージキャプションペアからペア化された前方/逆編集タプルを構築し、エンドポイントアライメントとセマンティックトランジションアライメントのための低ランクテキストアダプタブランチを分離し、ローランドディレクショナルマージ(LRDM)とマージする。
CIRR、CIRCO、FashionIQ、GeneCISに関する大規模な実験は、DeCIRが推論複雑性を増大させることなく、射影ベースのZS-CIRを一貫して改善することを示した。
関連論文リスト
- PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。
8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
論文 参考訳(メタデータ) (2026-03-18T09:26:43Z) - Routing without Forgetting [20.60324059904291]
変換器における連続学習をルーティング問題として再放送する。
タスク固有のプロンプトを格納またはマージする代わりに、RwFはシングルステップの連想検索を通じて動的プロンプトを生成する。
Split-ImageNet-R と Split-ImageNet-S では、RwF は数ショットの学習システムであっても、事前のプロンプトベースのアプローチよりも大きなマージンでパフォーマンスを向上している。
論文 参考訳(メタデータ) (2026-03-10T12:23:46Z) - SDR-CIR: Semantic Debias Retrieval Framework for Training-Free Zero-Shot Composed Image Retrieval [10.874487857707038]
Composed Image Retrieval (CIR) は、参照画像と修正テキストからなるクエリからターゲット画像を取得することを目的としている。
SDR-CIR(SDR-CIR)を提案する。
論文 参考訳(メタデータ) (2026-02-04T11:24:35Z) - ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。
本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。
CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-02-02T04:52:54Z) - SETR: A Two-Stage Semantic-Enhanced Framework for Zero-Shot Composed Image Retrieval [4.230223288110963]
Zero-shot Composed Image Retrieval (ZS-CIR)は、トリプルトアノテーションに頼ることなく、参照画像と相対テキストが与えられたターゲット画像を取得することを目的としている。
既存のCLIPベースの手法では、(1)組合ベースの特徴融合は、意図した変更を希釈する無関係な背景の詳細を担いながら、すべての視覚的手がかりを無差別に集約し、(2)CLIP埋め込みからのグローバルなコサイン類似性は、きめ細かいセマンティックな関係を解く能力に欠ける。
論文 参考訳(メタデータ) (2025-09-30T09:41:52Z) - MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。
MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
論文 参考訳(メタデータ) (2025-05-26T08:56:59Z) - Spherical Linear Interpolation and Text-Anchoring for Zero-shot Composed Image Retrieval [43.47770490199544]
Composed Image Retrieval (CIR)は、画像とキャプションで構成されたクエリを使って画像を取得する複雑なタスクである。
Slerp(Spherical Linear Interpolation)を用いて画像とテキストを直接マージする新しいZS-CIR手法を提案する。
また,テキストエンコーダを固定しながら画像エンコーダを微調整するText-Anchored-Tuning (TAT)を導入する。
論文 参考訳(メタデータ) (2024-05-01T15:19:54Z) - Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。
大規模視覚言語モデル(VLM)を用いた最近の研究動向
我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
論文 参考訳(メタデータ) (2023-10-13T17:59:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。