論文の概要: A Broader Look into MLLM's Retrieval Heads

• arxiv url: http://arxiv.org/abs/2610.32411v1
• Date: Fri, 23 Oct 2026 09:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.44818
• Title: A Broader Look into MLLM's Retrieval Heads
• Title（参考訳）: MLLMの検索ヘッドをブロードバンドで見る
• Abstract要約: 長い入力で関連するエビデンスを見つけることは、マルチモーダルな大規模言語モデルの中核的な能力である。 このメカニズムがモデルの入力モダリティとともに拡張されるかどうかを問う。 我々は、検索ヘッドを最適化の目標とし、ランク付け目標に注意を向けて訓練する。
• 参考スコア（独自算出の注目度）: 37.8138031345458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Locating relevant evidence in long inputs is a core capability of Multimodal Large Language Models. Prior studies attribute this capability to retrieval heads, a sparse set of attention heads that transfer information from the context to the output. However, these analyses are confined to a limited set of modalities and the corresponding models. Moreover, how retrieval heads can be leveraged to enhance the model calls for further exploration. In this paper, we ask whether this mechanism expands together with the input modalities of the model. Taking audio-visual input as a newly added modality, we construct paired inputs in which the same answer is either spoken or shown on screen. With the evidence content fixed, retrieval heads remain sparse in the new modality and are shared to a large extent across modalities. Across 18 language, vision-language, and omni-modal checkpoints, omni-modal models largely preserve the retrieval heads of their backbones. Ablating these heads eliminates nearly all audio-visual retrieval. The heads shared across modalities make up fewer than 2\% of all heads, yet ablating them also degrades document understanding, spatial perception, and visual mathematics. Building on these findings, we turn retrieval heads into a target of optimization by training their attention with a ranking objective. This raises the page Recall@1 of Qwen3-VL-8B on MMDocIR by 6.03 points and improves document retrieval across three model families. Functional attention heads can thus serve both as a lens on multimodal models and as a target for improving them.
• Abstract（参考訳）: 長い入力で関連するエビデンスを見つけることは、マルチモーダルな大規模言語モデルの中核的な能力である。 以前の研究では、この能力は、コンテキストから出力へ情報を転送する、まばらなアテンションヘッドの集合であるヘッドの検索に起因している。 しかし、これらの解析はモダリティの限られたセットと対応するモデルに限られる。 さらに、検索ヘッドがどのように活用され、さらなる探索のためのモデル呼び出しを強化することができる。 本稿では,この機構がモデルの入力モダリティとともに拡張するかどうかを問う。 音声-視覚入力を新たなモダリティとして、同じ回答が音声か画面に表示されるペア入力を構築する。 証拠内容が固定された状態では、検索ヘッドは新たなモダリティにおいてスパースのままであり、モダリティ全体にわたって広範囲に共有される。 18言語、ヴィジュアル言語、オムニモーダルチェックポイント、オムニモーダルモデルは、主に背骨の検索ヘッドを保存している。 これらのヘッドを壊すことで、ほとんどすべてのオーディオ視覚的検索がなくなる。 モダリティ間で共有される頭部は全頭部の2倍に満たないが、文書理解、空間知覚、視覚数学を低下させる。 本研究は,これらの知見に基づいて,評価対象を学習することで,検索ヘッドを最適化の対象にすることを目的とする。 これにより、MMDocIR上のQwen3-VL-8BのRecall@1ページが6.03ポイント上昇し、3つのモデルファミリにわたるドキュメント検索が改善される。 したがって、機能的アテンションヘッドは、マルチモーダルモデルのレンズとして、そしてそれらを改善するためのターゲットとして、機能的アテンションヘッドとして機能することができる。

関連論文リスト

• Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models [68.48918176385105]
  本稿では,質問トークンからテキストや視覚的証拠への注目を収集するマルチモーダル検索ヘッド検出手法を提案する。 マルチモーダル検索ヘッドはスパースであり,本質的であり,因果的に重要であることを示す。 これらの頭部は、視覚的にリッチな文書のランク付けに利用することもできる。
  論文  参考訳（メタデータ） (2026-05-26T16:24:29Z)
• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models [19.62954865335739]
  本研究は,LLMの長文処理能力を高めるために,検索ヘッドを活用できるかどうかを検討する。 RetMaskは,通常のモデル出力と,検索ヘッドをマスクした改良版とを対比して学習信号を生成する手法である。 3つのモデルファミリーに対する実験により、有効性は検索ヘッダー組織に依存することが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-16T06:31:08Z)
• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Cross-Modal Adapter for Vision-Language Retrieval [60.59577149733934]
  パラメータ効率の伝達学習のためのクロスモーダル適応器を提案する。 アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。 提案手法には,(1)微調整パラメータの大部分の削減,(2)トレーニング時間の短縮,(3)事前学習パラメータの修正,という3つの特長がある。
  論文  参考訳（メタデータ） (2022-11-17T16:15:30Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。