論文の概要: RoPE at the End of Its Rope? Theory, Diagnosis, and Mitigation of Long-Context Failures

• arxiv url: http://arxiv.org/abs/2609.39929v1
• Date: Wed, 30 Sep 2026 15:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.96631
• Title: RoPE at the End of Its Rope? Theory, Diagnosis, and Mitigation of Long-Context Failures
• Title（参考訳）: ロープの終端におけるRoPE : 長期故障の理論・診断・緩和
• Abstract要約: RoPEベースの言語モデルの長いコンテキスト障害は、安定したトークンの選好を維持し、近くの位置を区別するRoPEの本質的なトレードオフから生じる可能性がある。 我々は、RoPE周波数における不等なクエリキースケールを許容することにより、先行理論の鍵となる限界に対処する。 プラグインとプレイの診断ツールキットであるRoPE Profilerを導入する。
• 参考スコア（独自算出の注目度）: 9.3093789409602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context failures of RoPE-based language models can arise from RoPE's intrinsic tradeoff between maintaining stable token preferences and distinguishing nearby positions. Determining which weakness to address, and how, requires a more precise characterization of RoPE's behavior in trained models across context lengths. We address a key limitation of prior theory by allowing unequal query-key scales across RoPE frequencies, which aligns well with practical empirical observations. Our theory makes both vulnerabilities measurable for individual heads and inputs, and quantifies how high-frequency components support positional sensitivity while potentially disrupting semantic stability. We also derive a theoretical context-length bound beyond which, under specified conditions, a fixed attention-score comparison cannot jointly avoid semantic reversal and positional insensitivity. Guided by our fresh theoretical insights, we introduce RoPE Profiler, a lightweight, plug-and-play diagnostic toolkit that augments existing evaluations with zero additional forward passes by reusing cached query and key activations. Reusing activations collected during evaluation, the toolkit incurs little overhead. It supplements standard benchmark scores with two diagnostic scores that reveal semantic and positional weaknesses and help users prioritize which aspect to address. Crucially, our evaluations across 49 long-context task settings reveal a distinct pattern where reasoning tasks predominantly suffer from semantic reversal, whereas retrieval tasks are primarily vulnerable to positional insensitivity. Guided by our theory and diagnostic profiles, targeted high-frequency rescaling achieves immediate gains without additional training, improving task accuracy by up to 20 percentage points on Qwen3-8B and 25 percentage points on Llama-3.1-8B-Instruct.
• Abstract（参考訳）: RoPEベースの言語モデルの長いコンテキスト障害は、安定したトークンの選好を維持し、近くの位置を区別するRoPEの本質的なトレードオフから生じる可能性がある。 どの弱点に対処し、どのように対処するかを決定するには、コンテキスト長を越えてトレーニングされたモデルにおけるRoPEの振る舞いをより正確に評価する必要がある。 我々は、RoPE周波数における不等なクエリキースケールを許容することにより、先行理論の鍵となる限界に対処する。 我々の理論は、個々の頭と入力の脆弱性を計測し、高い周波数成分が意味的安定性を損なうことなく、位置感度をどのようにサポートするかを定量化する。 また、特定の条件下では、固定された注意スコア比較は意味的反転と位置的不感度を共同で回避できない理論的な文脈-長さ境界を導出する。 これは、キャッシュされたクエリとキーアクティベーションを再利用することで、既存の評価をゼロのフォワードパスで拡張する軽量でプラグアンドプレイの診断ツールキットです。 評価中に収集されたアクティベーションを再利用すると、ツールキットはオーバーヘッドが少なくなる。 標準的なベンチマークスコアを2つの診断スコアで補うことで、意味的および位置的弱点を明らかにし、どのアスペクトに対処するかをユーザが優先順位付けするのに役立つ。 重要な点として、49の長文タスク設定に対する評価では、推論タスクが主にセマンティック・リバーサルに悩まされるのに対して、検索タスクは、主に位置的不感度に弱いパターンが示される。 我々の理論と診断プロファイルに導かれて、目標の高周波再スケーリングは追加トレーニングなしで即時向上し、タスク精度をQwen3-8Bで最大20ポイント、Llama-3.1-8B-インストラクトで最大25ポイント向上する。

関連論文リスト

• PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos [60.78191036132455]
  本稿では,凍結前兆エンコーダから軽量スコアリングヘッドによるスカラー物理一貫性違反スコアに特徴をマッピングする評価器PhyProbeを紹介する。 PhyProbeは、一対のランク付け、ノイズの多いスカラーアノテーションの回帰、および不均一な管理源のキュレートされたセットに対するアンカーベースのキャリブレーションを組み合わせた統一された目的によって訓練される。 実験により、PhyProbeは、実際の生成および生成されたペアにまたがるほとんどのペアワイズベンチマークにおいて、様々な対応の下で、先行手法よりも優れた性能を示すことが示された。 PhyProbeは、ランクベースと線形メトリクスの密接な一致によって、人間の判断と強い相関を達成し、スコアが両方であることを示す
  論文  参考訳（メタデータ） (2026-09-29T18:35:23Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Frayed RoPE and Long Inputs: A Geometric Perspective [3.573191378087653]
  Rotary Positional Embedding (RoPE) は、言語モデルにおける位置の符号化手法として広く採用されている。 我々は、注意が分離されたキーとクエリ潜在点の雲の密集を誘導し、シンクトークンの作成を可能にすることを示す。 そこで我々は,注目層がボックス外へのより長い入力を一般化できるように改良したRoPE-ID(In Distribution)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T23:03:47Z)
• Attention in Constant Time: Vashista Sparse Attention for Long-Context Decoding with Exponential Guarantees [0.0]
  大規模な言語モデルは、長いコンテキストに対する推論コストの大部分を注意に費やします。 我々はこの現象をキーベクトルの凸殻への射影として注意をモデル化することによって定式化する。 本稿では,クエリ毎に小さな候補セットを保持するドロップイン機構であるVasista Sparse Attentionを紹介する。
  論文  参考訳（メタデータ） (2026-02-14T14:29:10Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Reasoning's Razor: Reasoning Improves Accuracy but Can Hurt Recall at Critical Operating Points in Safety and Hallucination Detection [21.190105743961798]
  推論は大規模言語モデル(LLM)の中心パラダイムとなっている。 厳密な低偽陽性率体制下での分類タスクの推論に関する最初の体系的研究について述べる。 思考(推論強化)生成は全体的な精度を向上するが、実用に不可欠な低FPRしきい値では性能が低下する。
  論文  参考訳（メタデータ） (2025-10-23T23:23:36Z)
• HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation [19.42279057349193]
  位置符号化(PE)は、長く続く帰納的意見に基づいて、長期的な腐敗を示すように設計されている。 我々は、LLMがコンテキスト内情報の正確な検索を要求するタスクに適用されるようになったため、LLMの時代において長期の崩壊は時代遅れであると主張している。
  論文  参考訳（メタデータ） (2024-10-28T17:01:52Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。