論文の概要: SLQ: Bridging Modalities via Shared Latent Queries for Retrieval with Frozen MLLMs

• arxiv url: http://arxiv.org/abs/2604.13710v2
• Date: Thu, 16 Apr 2026 02:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 16:09:14.200505
• Title: SLQ: Bridging Modalities via Shared Latent Queries for Retrieval with Frozen MLLMs
• Title（参考訳）: SLQ:冷凍MLLMを用いた検索のための共有遅延クエリによるモダリティのブリッジ
• Authors: Haoran Lou, Ziyan Liu, Chunxiao Fan, Yuexin Wu, Yue Ming,
• Abstract要約: MLLMを検索に適応させるには、事前学習した表現を上書きするのではなく、抽出することに注力すべきだと我々は主張する。 本稿では, 凍結MLLMを検索器に適応させる, 効率的なフレームワークであるSLQを提案する。 実験の結果、SLQはCOCOとFlickr30Kで完全な微調整とLoRAを上回り、MMEBでは競争性能を達成した。
• 参考スコア（独自算出の注目度）: 9.469794564250625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) exhibit strong reasoning and world knowledge, yet adapting them for retrieval remains challenging. Existing approaches rely on invasive parameter updates, such as full fine-tuning and LoRA, which may disrupt the pre-trained semantic space and impair the structured knowledge essential for reasoning. In this work, we argue that adapting MLLMs for retrieval should focus on eliciting pre-trained representations rather than overwriting them. To this end, we propose SLQ, an effective and efficient framework that adapts a frozen MLLM into a retriever through a small set of Shared Latent Queries. Appended to the end of both text and image token sequences, these queries leverage the model's native causal attention to serve as global aggregation interfaces, producing compact embeddings in a unified space while keeping the backbone unchanged. Furthermore, to better evaluate retrieval beyond superficial pattern matching, we construct KARR-Bench, a benchmark designed for knowledge-aware reasoning retrieval. Extensive experiments show that SLQ outperforms full fine-tuning and LoRA on COCO and Flickr30K, while achieving competitive performance on MMEB and yielding substantial gains on KARR-Bench. The results demonstrate that SLQ, which preserves pre-trained representations, provides an effective and efficient framework for adapting MLLMs to retrieval.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、強力な推論と世界知識を示すが、検索に適応することは依然として困難である。 既存のアプローチは、完全な微調整やLoRAのような侵入的パラメータ更新に依存しており、事前訓練された意味空間を乱し、推論に必要な構造化知識を損なう可能性がある。 本研究では,MLLMを検索に適用することは,事前学習した表現を上書きするのではなく,抽出することに集中すべきである,と論じる。 そこで本研究では,凍結MLLMを検索器に適応させる,効率よく効率的なフレームワークであるSLQを提案する。 テキストと画像トークンシーケンスの両端に配置され、これらのクエリはモデルのネイティブな因果的注意を生かし、グローバルアグリゲーションインターフェースとして機能し、バックボーンを一定に保ちながら、統一された空間にコンパクトな埋め込みを生成する。 さらに,表層パターンマッチングを超えて検索を評価するため,知識認識型推論検索のためのベンチマークであるKARR-Benchを構築した。 大規模な実験により、SLQはCOCOとFlickr30Kで完全な微調整とLORAを上回り、MMEBで競争性能を達成し、KARR-Benchでかなりの利益を得ることが示された。 その結果,事前学習した表現を保存したSLQは,MLLMを検索に適用するための効率的かつ効率的なフレームワークを提供することがわかった。

関連論文リスト

• CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension [49.6969505536365]
  生成能力を保ちつつ、検索のためのマルチモーダル表現を強化する統一的なフレームワークであるCREMを提案する。 CREMはMMEB上での最先端検索性能を達成し,複数の理解ベンチマーク上での強力な生成性能を維持する。
  論文  参考訳（メタデータ） (2026-02-22T08:09:51Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• URaG: Unified Retrieval and Generation in Multimodal LLMs for Efficient Long Document Understanding [55.45331924836242]
  MLLM内での検索と生成を統一するフレームワークであるURaGについて述べる。 URaGは,計算オーバーヘッドを44～56%削減し,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-11-13T17:54:09Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• RALLRec+: Retrieval Augmented Large Language Model Recommendation with Reasoning [22.495874056980824]
  本稿では,Representation Learning and textbfReasoning empowered search-textbfAugmented textbfLarge textbfLanguage model textbfRecommendation (RALLRec+)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T11:03:34Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。