論文の概要: Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads

• arxiv url: http://arxiv.org/abs/2606.05843v1
• Date: Thu, 04 Jun 2026 08:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.640838
• Title: Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads
• Title（参考訳）: CoReヘッドを用いた多モードLCMの機能性スポーシティに関する力学的考察
• Authors: Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang,
• Abstract要約: MLLM(Multimodal Large Language Models)における深い構造的特性を明らかにするための詳細な解釈可能性の研究について述べる。 我々は、コンテキスト認識検索(CoRe)ヘッドと呼ばれる、高度に専門化されたアテンションヘッドのサブセットを特定し、特徴付ける。 本研究は,MLLMにおける機能的疎結合の構造原理を解明し,機械的解釈可能性の現在の理解を解明するものである。
• 参考スコア（独自算出の注目度）: 48.341678148905466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Multimodal Large Language Models (MLLMs) demonstrate remarkable proficiency on complex vision-language tasks, the mechanisms by which they extract query-relevant visual features from complex, noisy contexts remain opaque. In this paper, we present an in-depth interpretability study that uncovers a profound structural property within MLLMs: functional sparsity in cross-modal retrieval. Leveraging a token-level metric termed Retrieval Attention Mass (RAM), we identify and characterize a highly specialized subset of attention heads, referred to as Context-aware Retrieval (CoRe) heads. Across diverse visual domains and model scales, we observe a clear functional division: CoRe heads act as dedicated information extractors, while most other heads distribute attention over broader contextual regions. Causal interventions further demonstrate the necessity of these specialized heads. Ablating only the top 5% of CoRe heads causes significant degradation in multimodal reasoning performance, whereas ablating lower-ranked heads has minimal effect. Moreover, acceleration experiments validate the utility of CoRe heads, showing that leveraging this localized sparsity significantly accelerates inference while maintaining robust task performance. Our findings reveal a structural principle of functional sparsity within MLLMs, refining the current understanding of mechanistic interpretability and laying a theoretical foundation that can inspire future architecture design and model optimization.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は複雑な視覚言語タスクに顕著な習熟度を示すが、複雑なノイズのあるコンテキストからクエリ関連視覚特徴を抽出するメカニズムは不透明である。 本稿では,MLLMの深い構造的特性を明らかにするための詳細な解釈可能性の研究について述べる。 トークンレベルのメトリクスをRAM(Retrieval Attention Mass)と呼び、高度に専門化されたアテンションヘッドのサブセットを識別し、特徴付ける。 CoReヘッドは専用の情報抽出器として機能し、他のほとんどのヘッドはより広いコンテキスト領域に注意を向ける。 因果的介入は、これらの特別な首の必要性をさらに示している。 CoReヘッドの上位5%しかブラッシングしないと、マルチモーダル推論性能が著しく低下する一方、低ランクヘッドのブラッシングは最小限の効果を持つ。 さらに、加速実験によりCoReヘッドの有用性が検証され、この局所的な空間性を活用することで、堅牢なタスク性能を維持しながら、推論を著しく加速することが示された。 本研究は,MLLMにおける機能的疎結合の構造的原理を明らかにし,機械的解釈可能性の現在の理解を洗練し,将来のアーキテクチャ設計とモデル最適化を刺激する理論的基盤を構築した。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Investigating The Functional Roles of Attention Heads in Vision Language Models: Evidence for Reasoning Modules [76.21320451720764]
  複雑なマルチモーダル質問をステップバイステップのサブクエストに分解するデータセットであるCogVisionを紹介した。 探索に基づく手法を用いて,これらの機能に特化して機能的頭部として特徴付けるアテンションヘッドを同定する。 分析の結果、これらの機能ヘッドは普遍的に疎結合であり、機能間の数や分布が異なり、相互作用や階層的な組織を仲介することがわかった。
  論文  参考訳（メタデータ） (2025-12-11T05:42:53Z)
• Cognitive Mirrors: Exploring the Diverse Functional Roles of Attention Heads in LLM Reasoning [54.12174882424842]
  大規模言語モデル(LLM)は、様々なタスクにおいて最先端のパフォーマンスを達成したが、内部メカニズムに関してはほとんど不透明である。 本稿では,注目者の役割と行動を体系的に分析する新しい解釈可能性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T10:24:34Z)
• From Compression to Expression: A Layerwise Analysis of In-Context Learning [24.45948310980883]
  In-context Learning (ICL)は、大規模な言語モデルで、デモシーケンスから学習することで、重み付けなしで新しいタスクに適応することができる。 ICL表現の統計的幾何学的解析を行い,各層にまたがるタスク固有情報の取得方法について検討する。 この結果から,ILC の階層的ダイナミックな構造的表現が LLM 内でどのように現れるかが明らかとなり,内部表現の分析がモデル行動のより深い理解を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T22:22:03Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。