論文の概要: Retrieval Heads are Dynamic

• arxiv url: http://arxiv.org/abs/2602.11162v1
• Date: Wed, 07 Jan 2026 02:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 12:01:13.515881
• Title: Retrieval Heads are Dynamic
• Title（参考訳）: 検索ヘッドは動的です
• Authors: Yuping Lin, Zitao Li, Yue Xing, Pengfei He, Yingqian Cui, Yaliang Li, Bolin Ding, Jingren Zhou, Jiliang Tang,
• Abstract要約: 近年の研究では、Large Language Models (LLMs) における「検索ヘッド」が特定されている。 本稿では,動的視点からの検索ヘッドについて検討する。
• 参考スコア（独自算出の注目度）: 101.60087217027949
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies have identified "retrieval heads" in Large Language Models (LLMs) responsible for extracting information from input contexts. However, prior works largely rely on static statistics aggregated across datasets, identifying heads that perform retrieval on average. This perspective overlooks the fine-grained temporal dynamics of autoregressive generation. In this paper, we investigate retrieval heads from a dynamic perspective. Through extensive analysis, we establish three core claims: (1) Dynamism: Retrieval heads vary dynamically across timesteps; (2) Irreplaceability: Dynamic retrieval heads are specific at each timestep and cannot be effectively replaced by static retrieval heads; and (3) Correlation: The model's hidden state encodes a predictive signal for future retrieval head patterns, indicating an internal planning mechanism. We validate these findings on the Needle-in-a-Haystack task and a multi-hop QA task, and quantify the differences on the utility of dynamic and static retrieval heads in a Dynamic Retrieval-Augmented Generation framework. Our study provides new insights into the internal mechanisms of LLMs.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) において,入力コンテキストから情報を抽出する「検索ヘッド」が特定されている。 しかし、以前の研究はデータセットにまたがって集約された静的統計に大きく依存しており、平均して検索を行うヘッドを特定している。 この観点は、自己回帰生成の微細な時間的ダイナミクスを見落としている。 本稿では,動的視点からの検索ヘッドについて検討する。 ダイナミズム(Dynamism: Retrieval Head): タイムステップ毎に動的に変化する; (2) 不安定性: 動的検索ヘッドは各時間ステップごとに特異であり、静的検索ヘッドに効果的に置き換えられない; (3) 相関性: モデルの隠れ状態は、将来の検索ヘッドパターンの予測信号を符号化し、内部計画機構を示す。 Needle-in-a-HaystackタスクとマルチホップQAタスクでこれらの結果を検証し、動的検索・拡張生成フレームワークにおける動的検索ヘッドと静的検索ヘッドの実用性の違いを定量化する。 本研究は, LLMの内部機構に関する新たな知見を提供する。

関連論文リスト

• From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models [19.62954865335739]
  本研究は,LLMの長文処理能力を高めるために,検索ヘッドを活用できるかどうかを検討する。 RetMaskは,通常のモデル出力と,検索ヘッドをマスクした改良版とを対比して学習信号を生成する手法である。 3つのモデルファミリーに対する実験により、有効性は検索ヘッダー組織に依存することが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-16T06:31:08Z)
• Retrieval Head Mechanistically Explains Long-Context Factuality [56.78951509492645]
  我々は,検索ヘッドをダブする特別なタイプの注意ヘッドが,主に情報検索に責任があることを実証した。 本研究は,検索ヘッドが思考の連鎖(CoT)推論に強く影響していることを示し,モデルが質問や以前生成した文脈を頻繁に参照する必要があることを示す。 我々は、幻覚の低減、推論の改善、KVキャッシュの圧縮に関する今後の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2024-04-24T00:24:03Z)
• Exploring the Practicality of Generative Retrieval on Dynamic Corpora [41.223804434693875]
  本稿では,自己回帰型言語モデルをIR問題に適用する生成検索(GR)に焦点を当てる。 StreamingQAベンチマークの結果、GRは進化的知識(4-11%)に適応し、時間的情報による学習知識が堅牢で、FLOP(x6)、インデックス時間(x6)、ストレージフットプリント(x4)の点で効率的であることが示されている。 本稿では,動的環境における実用的な赤外線システムにおけるGRの可能性について述べる。
  論文  参考訳（メタデータ） (2023-05-27T16:05:00Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• A Deeper Dive Into What Deep Spatiotemporal Networks Encode: Quantifying Static vs. Dynamic Information [34.595367958746856]
  我々は、アクション認識とビデオオブジェクトセグメンテーションという、広く研究されている2つのタスクを分析した。 ほとんどの検査されたモデルは静的情報に偏っている。 クロスコネクションを持つ2ストリームアーキテクチャでは、キャプチャされた静的情報と動的情報のバランスが良くなっている。
  論文  参考訳（メタデータ） (2022-06-06T18:39:37Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection [71.18882803642526]
  ディープラーニングアプローチは、3Dオブジェクト検出タスクにおいて顕著なパフォーマンスを示している。 古いデータを再考することなく、新しいクラスを漸進的に学習するときに、破滅的なパフォーマンス低下に悩まされる。 この「破滅的な忘れ物」現象は、現実世界のシナリオにおける3Dオブジェクト検出アプローチの展開を妨げる。 SDCoTは,新しい静的なコティーチング手法である。
  論文  参考訳（メタデータ） (2021-12-14T09:03:41Z)
• Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
  本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。 VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-10-21T16:12:59Z)
• Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
  Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。 標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。 本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。