論文の概要: Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval
- arxiv url: http://arxiv.org/abs/2607.00374v1
- Date: Wed, 01 Jul 2026 03:20:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.701087
- Title: Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval
- Title（参考訳）: 合成学習:ゼロショット合成画像検索のためのプロキシタスク設計の再検討
- Abstract要約: 合成画像検索(CIR)は、基準画像から対象画像とテキスト修正とを検索する。
構成を2つの調整段階としてモデル化するFoCoを提案する。
4つのZS-CIRベンチマークの実験では、FoCoの最先端性能と一般化の改善が示されている。
- 参考スコア（独自算出の注目度）: 31.201448685871558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Composed Image Retrieval (CIR) retrieves a target image from a reference image and a textual modification. While supervised CIR relies on costly triplets, Zero-Shot CIR (ZS-CIR) alleviates this reliance through proxy tasks trained on image-text pairs. However, existing proxy tasks primarily enhance visual and textual representations to accommodate a predefined composition mechanism such as pseudo-word injection into a frozen text encoder or linear feature arithmetic. As a result, the composition function itself remains unlearned, limiting the model's ability to express diverse and fine-grained semantic modifications. To address this, we propose FoCo, which models composition as two coordinated stages: focusing on modification-relevant visual content, and then completing the target semantics. We realize these through two proxy tasks: text-anchored visual aggregation to selectively gather visual content guided by localized textual semantics, and context-conditioned semantic completion to transform these aggregated visuals with the remaining scene context into a coherent composed representation. The tasks are trained jointly with a cross-instance contrastive objective, encouraging semantic diversity and discouraging shortcut composition strategies. Extensive experiments on four ZS-CIR benchmarks show FoCo's state-of-the-art performance and improved generalization.
- Abstract（参考訳）: 合成画像検索(CIR)は、基準画像から対象画像とテキスト修正とを検索する。
教師付きCIRは高価な三つ子に依存しているが、Zero-Shot CIR(ZS-CIR)は画像とテキストのペアで訓練されたプロキシタスクを通じて、この依存を緩和する。
しかし、既存のプロキシタスクは、凍結したテキストエンコーダや線形特徴演算に擬ワード注入のような事前定義された合成メカニズムに対応するために、視覚的およびテキスト的表現を主に強化する。
結果として、構成関数自体は未学習のままであり、モデルが多様できめ細かな意味的な修正を表現する能力を制限する。
これを解決するために、FoCoを提案する。FoCoは、構成を2つの調整された段階としてモデル化し、修正関連視覚コンテンツに焦点を当て、ターゲットのセマンティクスを完了させる。
テキスト合成による視覚的コンテンツを選択的に収集する視覚的アグリゲーションと、残りのシーンコンテキストで集約された視覚をコヒーレントな合成表現に変換するコンテキスト条件付きセマンティックコンプリートという2つのプロキシタスクを通して実現した。
タスクは、クロスインスタンスのコントラスト目標と共同でトレーニングされ、セマンティックな多様性を促進し、ショートカット構成戦略を阻害する。
4つのZS-CIRベンチマークの大規模な実験は、FoCoの最先端性能と一般化の改善を示している。
関連論文リスト
- DiCE-CIR: Direct Composition Learning for Efficient Zero-Shot Composed Image Retrieval [52.15696141238419]
ゼロショット合成画像検索(ZS-CIR)は、参照画像と編集テキストからなるマルチモーダルクエリから対象画像を検索することを目的としている。
提案するDiCE-CIRは,参照画像と編集テキストを直接合成することで,合成されたクエリ表現を予測する直接合成学習手法である。
論文 参考訳（メタデータ） (2026-07-06T04:37:30Z) - STiTch: Semantic Transition and Transportation in Collaboration for Training-Free Zero-Shot Composed Image Retrieval [38.107904166193364]
訓練なしゼロショット合成画像検索モデルは研究の関心が高まっている。
最近の進歩は、期待されるターゲットキャプションの生成に焦点を当てている。
トレーニング不要なゼロショットCIRタスクのための協調フレームワークにセマンティック・トランジションとトランスポーテーションを導入する。
論文 参考訳（メタデータ） (2026-05-20T14:51:29Z) - Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。
視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。
提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-08-24T15:45:22Z) - Fine-grained Textual Inversion Network for Zero-Shot Composed Image Retrieval [60.20835288280572]
本稿では,FTI4CIR という ZS-CIR のためのテキスト・インバージョン・ネットワークを提案する。
FTI4CIRは、微粒な擬ワードトークンマッピングとトリワイズキャプションベースのセマンティック正規化の2つの主要コンポーネントから構成される。
論文 参考訳（メタデータ） (2025-03-25T02:51:25Z) - Data-Efficient Generalization for Zero-shot Composed Image Retrieval [67.46975191141928]
ZS-CIRは、トレーニングのために配布する三つ子を必要とせず、参照画像とテキスト記述に基づいて対象画像を検索することを目的としている。
1つの一般的なアプローチは、マッピングネットワークを用いてテキスト埋め込み空間内の擬似ワードトークンに画像埋め込みを転送するビジョン言語事前学習パラダイムである。
テキスト・サプリメント(TS)モジュールとセマンティック・セット(S-Set)という2つの新しい設計を含む,データ効率の一般化(DeG)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-07T07:49:31Z) - Spherical Linear Interpolation and Text-Anchoring for Zero-shot Composed Image Retrieval [43.47770490199544]
Composed Image Retrieval (CIR)は、画像とキャプションで構成されたクエリを使って画像を取得する複雑なタスクである。
Slerp(Spherical Linear Interpolation)を用いて画像とテキストを直接マージする新しいZS-CIR手法を提案する。
また,テキストエンコーダを固定しながら画像エンコーダを微調整するText-Anchored-Tuning (TAT)を導入する。
論文 参考訳（メタデータ） (2024-05-01T15:19:54Z) - Vision-Aware Text Features in Referring Image Segmentation: From Object Understanding to Context Understanding [26.768147543628096]
本稿では,人間の認知プロセスに触発された対象と文脈の理解を強調する新しい枠組みを提案する。
提案手法は,3つのベンチマークデータセットにおいて,大幅な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-12T16:38:48Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳（メタデータ） (2023-06-03T11:50:44Z) - BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid
Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。
本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
論文 参考訳（メタデータ） (2022-07-09T07:14:44Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。