論文の概要: Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families

• arxiv url: http://arxiv.org/abs/2606.21249v1
• Date: Fri, 19 Jun 2026 09:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:05:01.104882
• Title: Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families
• Title（参考訳）: RoPEは検索用ヘッドを予防または劣化させるか? : モデルファミリ間の力学的解析
• Abstract要約: 検索ヘッダは、以前のコンテキストから現在の位置への情報をコピーする。 回転位置埋め込みは、ベースハイパーパラメータテータで減衰することで、クエリとキーを回転させる。 マルチヘッドとグループドクリーアテンションにまたがる4つのオープンウェイト7-8Bモデルと100倍の範囲のテータを試験した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval heads, attention heads that copy information from earlier context to the current position, have been proposed as the mechanistic substrate for long-context recall. Rotary position embeddings (RoPE) rotate queries and keys by frequencies decaying with a base hyperparameter theta, and a natural hypothesis is that this rotation either prevents retrieval heads from forming or degrades their function. We test both across four open-weight 7-8B models spanning multi-head and grouped-query attention and a 100x range of theta, using paired-seed needle-in-a-haystack tests, layer-clustered permutation, and causal head-masking. (i) Retrieval heads are causally necessary: masking the 87 detected heads in OLMo-2 collapses recall from 1.00 to 0.00, while masking matched random heads has no effect; this replicates in Qwen. (ii) Higher theta does not reduce retrieval-head count (LLaMA-3.1 at theta=500K has 47 heads vs LLaMA-2 at theta=10K with 42), refuting the prevention hypothesis. (iii) The norm-utility relation is family-specific and significant in opposite directions (Qwen d=-0.49, OLMo d=+0.50, both significant; LLaMA null); since OLMo and LLaMA-3.1 share theta=500K yet differ, the effect is not theta-driven. (iv) Building on Chiang and Yogatama (2025), a controlled patch shows that zeroing the lowest-frequency RoPE dimensions of retrieval heads degrades recall dose-dependently (1.00 to 0.18 when 32 of 128 dimensions are zeroed, vs 0.98 for random dimensions); the effect is head-specific and task-specific. The causal variable is RoPE frequency, not norm-utility. The direction holds in all five models patched (OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral) across four lineages and two scales. We do not claim cross-model magnitude. Code and a paired-seed harness are released.
• Abstract（参考訳）: 従来の文脈から現在の位置へ情報をコピーする検索ヘッドは、長文リコールのための機械的基盤として提案されている。 ロータリー位置埋め込み(RoPE)は、ベースハイパーパラメータテータで減衰する周波数でクエリとキーを回転させ、この回転が検索ヘッドの形成や機能低下を防ぐという自然な仮説である。 マルチヘッドおよびグループクエリアテンションにまたがる4つのオープンウェイト7-8Bモデルと100倍の範囲のテータを,ペア型ニードル・イン・ア・ヘイスタック試験,層クラスター置換,因果頭部マスキングを用いて試験した。 i) 検出された87個の頭部をOLMo-2でマスクすると1.00から0.00にリコールされる一方、一致したランダムな頭部のマスクは効果がなく、これはQwenで複製される。 (II)高いシータは検索ヘッド数を減らさない(theta=500KのLLaMA-3.1は47頭、theta=10KのLLaMA-2は42頭)。 3) 標準効用関係は家族固有で、反対方向(Qwen d=-0.49, OLMo d=+0.50, both significant; LLaMA null)であり、OLMo と LLaMA-3.1 は、theta=500K を共有しているため、その効果はテータ駆動ではない。 (4)Chiang and Yogatama(2025)上に構築した制御パッチは、検索ヘッドの低周波 RoPE 次元をゼロにすると、リコール量依存的に劣化する(128次元のうち32がゼロになった場合1.00〜0.18、ランダム次元の場合は0.98)。 因果変数はRoPE周波数であり、標準効用ではない。 この方向は、パッチされた5つのモデル(OLMo-2、Qwen2.5-7B/14B、Gemma-2、Mistral)を4つの系統と2つのスケールで保持する。 我々はクロスモデル等級を主張しない。 コードとペアシードハーネスがリリースされている。

関連論文リスト

• SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval [4.894648561808929]
  キー再構成の品質よりも注意点を保存できる学習自由なKVキャッシュインデックスを開発した。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去する。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。
  論文  参考訳（メタデータ） (2026-08-04T06:59:29Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads [19.588124754970142]
  我々は,OV回路出力の投射によって各頭部を解答不能な方向に向けてスコアする書き込み認識検出器であるLogit-Contribution Scoring(LOCOS)を紹介する。 NoLiMaノンリテラル検索ベンチマークの上位LOCOSヘッドを平均で比較すると、3つのモデルファミリーでROUGE-Lは従来の注意に基づく検出よりも低いカウントで崩壊する。
  論文  参考訳（メタデータ） (2026-07-01T14:41:07Z)
• Substrate Asymmetry in User-Side Memory: A Diagnostic Framework [0.0]
  記憶は少なくとも3つの軸に分解される -- 行動整合性(スタイル、声)、事実の存在(歴史における事実を思い出す)、事実の欠如(事実が欠如している場合)。 この集計値が反対方向障害を隠蔽することを示す。 我々は、診断フレームワーク、診断された実データ陰性、アライメント・タックス・レプリケーション、ルーティング・アズ・クラス化発見に貢献する。
  論文  参考訳（メタデータ） (2026-06-10T06:39:20Z)
• Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization [0.0]
  重みのみの極低ビット量子化に対する共役理論論文の影響を応用する。 BBTspectralはWikitext-2の難易度をW2A16のバニラオートラウンドと比較して58%削減することを示した。
  論文  参考訳（メタデータ） (2026-05-24T18:05:37Z)
• Measuring Alignment-Induced Activation Shifts Correctly: A Template-Controlled Difference-in-Differences Protocol [0.0]
  この行列を形成するための明らかな方法を示す。 整列モデルはチャットテンプレートで評価され、ベースモデルは見なかった。 我々は、アライメントの活性化差研究のための測定勧告にそれを蒸留する。
  論文  参考訳（メタデータ） (2026-05-23T13:47:17Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Predicting Activity Cliffs for Autonomous Medicinal Chemistry [0.0]
  活動崖予測は、計算医学化学における永続的な課題である。 この研究は、小さな修正が、どの位置で、結果の変化の最も高い確率を示すかという、同義的な定義に焦点を当てている。 位置レベルの感度は、6つのタンパク質ファミリーにまたがる50個のChEMBLターゲットから2500万個の一致した分子対を用いて計算される。
  論文  参考訳（メタデータ） (2026-04-08T20:02:17Z)
• Debiasing LLMs by Masking Unfairness-Driving Attention Heads [47.639403863507965]
  DiffHeadsは,大規模言語モデルのための軽量なデバイアス処理フレームワークである。 DiffHeadsは、モデルユーティリティを損なうことなく、それぞれDAとCoTで49.4%、40.3%の不正性を減少させることを示す。
  論文  参考訳（メタデータ） (2025-10-11T09:48:31Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• Quantile Advantage Estimation for Entropy-Safe Reasoning [44.192277495613695]
  RLVRによる強化学習はLLM推論を強化するが、エントロピー崩壊とエントロピー爆発の間のトレーニングはしばしば振動する いずれのハザードも値のないRLで使われる平均ベースラインに辿り着くが、これは不適切に報酬のアウトリージの下で負のアドバンテージサンプルをペナルティ化する。 本稿では,平均値をグループ単位のK量子基底線に置き換えた量子アドバンテージ推定(QAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:37:52Z)
• RULSurv: A probabilistic survival-based method for early censoring-aware prediction of remaining useful life in ball bearings [39.58317527488534]
  Kullback-Leibler分散とRUL推定を用いた早期故障検出のための新しいフレキシブルな手法を提案する。 我々は,XJTU-SYデータセットにおいて,3つの異なる操作条件にまたがる5倍のクロスバリデーション戦略を用いてアプローチを実証する。 提案手法は,最大荷重下での5軸受の平均累積相対精度(CRA)を0.7586で達成し,複数の最先端ベースラインを改良する。
  論文  参考訳（メタデータ） (2024-05-02T16:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。