論文の概要: From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models

• arxiv url: http://arxiv.org/abs/2601.11020v2
• Date: Thu, 22 Jan 2026 11:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 13:30:18.373636
• Title: From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models
• Title（参考訳）: 解釈可能性からパフォーマンスへ:長期言語モデルにおける検索ヘッドの最適化
• Authors: Youmi Ma, Naoaki Okazaki,
• Abstract要約: 本研究は,LLMの長文処理能力を高めるために,検索ヘッドを活用できるかどうかを検討する。 RetMaskは,通常のモデル出力と,検索ヘッドをマスクした改良版とを対比して学習信号を生成する手法である。 3つのモデルファミリーに対する実験により、有効性は検索ヘッダー組織に依存することが明らかとなった。
• 参考スコア（独自算出の注目度）: 19.62954865335739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in mechanistic interpretability have identified special attention heads, known as retrieval heads, that are responsible for retrieving information from the context. However, the role of these retrieval heads in improving model performance remains unexplored. This work investigates whether retrieval heads can be leveraged to enhance the long-context capabilities of LLMs. Specifically, we propose RetMask, a method that generates training signals by contrasting normal model outputs with those from an ablated variant in which the retrieval heads are masked. This mechanism-based approach achieves substantial improvements: +2.28 points on HELMET at 128K for Llama-3.1, with +70% gains on generation with citation and +32% on passage re-ranking, while preserving performance on general tasks. Experiments across three model families reveal that the effectiveness depends on retrieval head organization: models with concentrated patterns of retrieval heads respond strongly, while those with distributed patterns show limited gains. This mechanistic relationship validates the function of retrieval heads and demonstrates that mechanistic insights can be transformed into performance enhancements.
• Abstract（参考訳）: 機械的解釈可能性の進歩は、コンテキストから情報を取得する責任を負う、検索ヘッドとして知られる特別な注意ヘッドを特定している。 しかし、モデル性能向上におけるこれらの検索ヘッドの役割は未解明のままである。 本研究は,LLMの長文処理能力を高めるために,検索ヘッドを活用できるかどうかを検討する。 具体的には、通常のモデル出力と、検索ヘッドをマスクした改良版とを対比してトレーニング信号を生成するRetMaskを提案する。 HELMETはLlama-3.1で128Kで +2.28ポイント、引用による生成では +70%、経路再ランクでは +32%、一般的なタスクでは +32% 向上した。 3つのモデルファミリーを対象とした実験では,検索ヘッドの組織化による効果が示され,検索ヘッドの集中型パターンを持つモデルが強く反応する一方で,分散型パターンを持つモデルは限られた利得を示す。 このメカニスティックな関係は、検索ヘッドの機能を検証し、メカニスティックな洞察が性能向上に変換できることを実証する。

関連論文リスト

• Reinforcement Learning Improves Traversal of Hierarchical Knowledge in LLMs [7.424730923663806]
  我々はRL強化モデルがベースを一貫して上回り、純粋な知識リコールタスクにおいて教師付き微調整(SFT)を行うことを示す。 これらの利得は、新たに取得したデータではなく、モデルパラメータ内の既存の知識階層をナビゲートし、探索する手続き的スキルの改善に由来すると仮定する。
  論文  参考訳（メタデータ） (2025-11-08T08:56:29Z)
• Learning Compact Representations of LLM Abilities via Item Response Theory [35.74367665390977]
  大規模言語モデル(LLM)のコンパクト表現の学習方法について検討する。 この問題は、与えられたモデルが特定のクエリに正しく答える確率を推定するものである。 これらのパラメータを共同で学習するために、モデルとクエリレベルの埋め込みを結合するMixture-of-Experts(MoE)ネットワークを導入する。
  論文  参考訳（メタデータ） (2025-10-01T12:55:34Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• DeepRAG: Thinking to Retrieve Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果,DeepRAGは検索効率を向上し,回答精度を26.4%向上させ,検索強化推論の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• SEAL: Scaling to Emphasize Attention for Long-Context Retrieval [8.805524738976075]
  我々は、長期文脈検索(SEAL)における注意を強調するためのスケーリングと呼ばれる新しいアプローチを導入する。 我々は、特定の注意ヘッドが長文検索と密接に結びついていることを観察し、検索スコアと正あるいは負の相関を示す。 本稿では、これらのヘッドを強調するために生成されたデータを活用する学習ベースのメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:09:39Z)
• Learning from Neighbors: Category Extrapolation for Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
  本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。 入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
  論文  参考訳（メタデータ） (2024-02-18T23:01:28Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。