論文の概要: Factorized MLLM Embeddings for Composed Image Retrieval

• arxiv url: http://arxiv.org/abs/2611.05193v2
• Date: Wed, 04 Nov 2026 09:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.792365
• Title: Factorized MLLM Embeddings for Composed Image Retrieval
• Title（参考訳）: 合成画像検索のためのMLLM埋め込み
• Abstract要約: Composed Image Retrieval (CIR)は、参照画像と修正テキストが与えられたターゲット画像を取得することを目的としている。 FactEmbed (FactEmbed) を導入し, 構成的クエリの理解を識別的埋め込みから分離する。
• 参考スコア（独自算出の注目度）: 51.89613095743926
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Composed Image Retrieval (CIR) aims to retrieve a target image given a reference image and a modification text. Although recent approaches leveraging Multimodal Large Language Models (MLLMs) have shown significant progress, we argue that the MLLM's compositional understanding remains underutilized. This stems from directly mapping composed queries into a retrieval embedding via contrastive supervision alone, without explicitly resolving the intended visual modifications. In this work, we introduce Factorized MLLM Embeddings (FactEmbed), which decouples compositional query comprehension from building discriminative embeddings. Rather than directly projecting the composed query into a single embedding without internal reasoning, FactEmbed employs a set of factorized latents that simulate the intended visual modifications via an intermediate target imagination objective. This process encourages the latents to ground into target semantics before forming discriminative representations for retrieval. Subsequently, to propagate these factorized representations throughout the model for retrieval, we optimize a factor-level contrastive loss while distilling the decomposed representations into a deeper attention layer of the MLLM. Finally, for efficient inference, we retain the [EOS] token to establish a global-level embedding on top of these factorized latents, while we exploit the mean-pooled factorized latents to rerank a short candidate list at negligible cost, as both are produced by the same forward pass. Extensive evaluations demonstrate that FactEmbed outperforms prior works across CIR benchmarks.
• Abstract（参考訳）: Composed Image Retrieval (CIR)は、参照画像と修正テキストが与えられたターゲット画像を取得することを目的としている。 MLLM(Multimodal Large Language Models)を利用した最近のアプローチは大きな進歩を見せているが、MLLMの構成的理解はいまだに未利用である。 これは、意図した視覚的な修正を明示的に解決することなく、コントラスト的な監督だけで、コンストラクトクエリを直接検索埋め込みにマッピングすることに由来する。 本研究では,FactEmbed(FactEmbed)を導入し,構成的クエリ理解を識別的埋め込みから分離する。 FactEmbedは、構成されたクエリを内部推論なしで単一の埋め込みに直接投影する代わりに、中間目標の想像目標を通じて意図した視覚的な修正をシミュレートする、因子化された潜在変数のセットを使用している。 このプロセスは、検索のための識別表現を形成する前に、潜伏者がターゲットセマンティクスに着地することを奨励する。 次に、これらの因子化表現を検索モデル全体を通して伝達するために、分解された表現をMLLMのより深い注意層に蒸留しながら、因子レベルのコントラスト損失を最適化する。 最後に、効率的な推論のために、これらの因子化潜水剤の上にグローバルレベル埋め込みを確立するための[EOS]トークンを保持し、一方、平均プール化潜水剤を利用して、どちらも同じ前方通過によって生成されるため、無視できるコストで短い候補リストをリランクする。 大規模な評価は、FactEmbedがCIRベンチマークで以前の作業より優れていることを示している。

関連論文リスト

• URA-NER: A Unified Retrieval-Augmented Framework with Retrieval Alignment and Uncertainty Reduction for Low-Resource NER [16.791824164877145]
  大規模言語モデル(LLM)に基づくコンテキスト内学習は、パフォーマンスボトルネックを軽減する上で有望な可能性を示している。 既存の手法はいまだに検索ミスや生成の不確実性の問題に直面している。 本稿では,3つの鍵成分を含む新しい統合検索拡張フレームワークURA-NERを提案する。
  論文  参考訳（メタデータ） (2026-09-21T10:04:43Z)
• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• ReMatch: Boosting Representation through Matching for Multimodal Retrieval [29.610030065465793]
  ReMatchはマルチモーダル検索にMLLMの生成強度を利用するフレームワークである。 組込みMLLMをチャット形式の生成マッチングステージで訓練する。 実験では, 5つのデータセットに対して, 特に強いゼロショット一般化結果を示した。
  論文  参考訳（メタデータ） (2025-11-24T16:28:49Z)
• CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning [93.05917922306196]
  Composed Image Retrieval (CIR) は、参照画像と修正テキストから対象画像を見つけることを目的としている。 CIR-CoTは、明示的なChain-of-Thought (CoT)推論を統合するために設計された最初のエンドツーエンド検索指向MLLMである。
  論文  参考訳（メタデータ） (2025-10-09T09:41:45Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。