論文の概要: Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families

• arxiv url: http://arxiv.org/abs/2606.21249v1
• Date: Fri, 19 Jun 2026 09:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:05:01.104882
• Title: Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families
• Title（参考訳）: RoPEは検索用ヘッドを予防または劣化させるか? : モデルファミリ間の力学的解析
• Authors: Cengizhan Bayram,
• Abstract要約: 検索ヘッダは、以前のコンテキストから現在の位置への情報をコピーする。 回転位置埋め込みは、ベースハイパーパラメータテータで減衰することで、クエリとキーを回転させる。 マルチヘッドとグループドクリーアテンションにまたがる4つのオープンウェイト7-8Bモデルと100倍の範囲のテータを試験した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval heads, attention heads that copy information from earlier context to the current position, have been proposed as the mechanistic substrate for long-context recall. Rotary position embeddings (RoPE) rotate queries and keys by frequencies decaying with a base hyperparameter theta, and a natural hypothesis is that this rotation either prevents retrieval heads from forming or degrades their function. We test both across four open-weight 7-8B models spanning multi-head and grouped-query attention and a 100x range of theta, using paired-seed needle-in-a-haystack tests, layer-clustered permutation, and causal head-masking. (i) Retrieval heads are causally necessary: masking the 87 detected heads in OLMo-2 collapses recall from 1.00 to 0.00, while masking matched random heads has no effect; this replicates in Qwen. (ii) Higher theta does not reduce retrieval-head count (LLaMA-3.1 at theta=500K has 47 heads vs LLaMA-2 at theta=10K with 42), refuting the prevention hypothesis. (iii) The norm-utility relation is family-specific and significant in opposite directions (Qwen d=-0.49, OLMo d=+0.50, both significant; LLaMA null); since OLMo and LLaMA-3.1 share theta=500K yet differ, the effect is not theta-driven. (iv) Building on Chiang and Yogatama (2025), a controlled patch shows that zeroing the lowest-frequency RoPE dimensions of retrieval heads degrades recall dose-dependently (1.00 to 0.18 when 32 of 128 dimensions are zeroed, vs 0.98 for random dimensions); the effect is head-specific and task-specific. The causal variable is RoPE frequency, not norm-utility. The direction holds in all five models patched (OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral) across four lineages and two scales. We do not claim cross-model magnitude. Code and a paired-seed harness are released.
• Abstract（参考訳）: 従来の文脈から現在の位置へ情報をコピーする検索ヘッドは、長文リコールのための機械的基盤として提案されている。 ロータリー位置埋め込み(RoPE)は、ベースハイパーパラメータテータで減衰する周波数でクエリとキーを回転させ、この回転が検索ヘッドの形成や機能低下を防ぐという自然な仮説である。 マルチヘッドおよびグループクエリアテンションにまたがる4つのオープンウェイト7-8Bモデルと100倍の範囲のテータを,ペア型ニードル・イン・ア・ヘイスタック試験,層クラスター置換,因果頭部マスキングを用いて試験した。 i) 検出された87個の頭部をOLMo-2でマスクすると1.00から0.00にリコールされる一方、一致したランダムな頭部のマスクは効果がなく、これはQwenで複製される。 (II)高いシータは検索ヘッド数を減らさない(theta=500KのLLaMA-3.1は47頭、theta=10KのLLaMA-2は42頭)。 3) 標準効用関係は家族固有で、反対方向(Qwen d=-0.49, OLMo d=+0.50, both significant; LLaMA null)であり、OLMo と LLaMA-3.1 は、theta=500K を共有しているため、その効果はテータ駆動ではない。 (4)Chiang and Yogatama(2025)上に構築した制御パッチは、検索ヘッドの低周波 RoPE 次元をゼロにすると、リコール量依存的に劣化する(128次元のうち32がゼロになった場合1.00〜0.18、ランダム次元の場合は0.98)。 因果変数はRoPE周波数であり、標準効用ではない。 この方向は、パッチされた5つのモデル(OLMo-2、Qwen2.5-7B/14B、Gemma-2、Mistral)を4つの系統と2つのスケールで保持する。 我々はクロスモデル等級を主張しない。 コードとペアシードハーネスがリリースされている。

関連論文リスト

• Substrate Asymmetry in User-Side Memory: A Diagnostic Framework [0.0]
  記憶は少なくとも3つの軸に分解される -- 行動整合性(スタイル、声)、事実の存在(歴史における事実を思い出す)、事実の欠如(事実が欠如している場合)。 この集計値が反対方向障害を隠蔽することを示す。 我々は、診断フレームワーク、診断された実データ陰性、アライメント・タックス・レプリケーション、ルーティング・アズ・クラス化発見に貢献する。
  論文  参考訳（メタデータ） (2026-06-10T06:39:20Z)
• Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization [0.0]
  重みのみの極低ビット量子化に対する共役理論論文の影響を応用する。 BBTspectralはWikitext-2の難易度をW2A16のバニラオートラウンドと比較して58%削減することを示した。
  論文  参考訳（メタデータ） (2026-05-24T18:05:37Z)
• Measuring Alignment-Induced Activation Shifts Correctly: A Template-Controlled Difference-in-Differences Protocol [0.0]
  この行列を形成するための明らかな方法を示す。 整列モデルはチャットテンプレートで評価され、ベースモデルは見なかった。 我々は、アライメントの活性化差研究のための測定勧告にそれを蒸留する。
  論文  参考訳（メタデータ） (2026-05-23T13:47:17Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Predicting Activity Cliffs for Autonomous Medicinal Chemistry [0.0]
  活動崖予測は、計算医学化学における永続的な課題である。 この研究は、小さな修正が、どの位置で、結果の変化の最も高い確率を示すかという、同義的な定義に焦点を当てている。 位置レベルの感度は、6つのタンパク質ファミリーにまたがる50個のChEMBLターゲットから2500万個の一致した分子対を用いて計算される。
  論文  参考訳（メタデータ） (2026-04-08T20:02:17Z)
• Debiasing LLMs by Masking Unfairness-Driving Attention Heads [47.639403863507965]
  DiffHeadsは,大規模言語モデルのための軽量なデバイアス処理フレームワークである。 DiffHeadsは、モデルユーティリティを損なうことなく、それぞれDAとCoTで49.4%、40.3%の不正性を減少させることを示す。
  論文  参考訳（メタデータ） (2025-10-11T09:48:31Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。