論文の概要: Frayed RoPE and Long Inputs: A Geometric Perspective

• arxiv url: http://arxiv.org/abs/2603.18017v1
• Date: Tue, 24 Feb 2026 23:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.391005
• Title: Frayed RoPE and Long Inputs: A Geometric Perspective
• Title（参考訳）: Frayed RoPEとロングインプット:幾何学的視点
• Authors: Davis Wertheimer, Aozhong Zhang, Derrick Liu, Penghang Yin, Naigang Wang,
• Abstract要約: Rotary Positional Embedding (RoPE) は、言語モデルにおける位置の符号化手法として広く採用されている。 我々は、注意が分離されたキーとクエリ潜在点の雲の密集を誘導し、シンクトークンの作成を可能にすることを示す。 そこで我々は,注目層がボックス外へのより長い入力を一般化できるように改良したRoPE-ID(In Distribution)を提案する。
• 参考スコア（独自算出の注目度）: 3.573191378087653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rotary Positional Embedding (RoPE) is a widely adopted technique for encoding position in language models, which, while effective, causes performance breakdown when input length exceeds training length. Prior analyses assert (rightly) that long inputs cause channels to rotate ``out of distribution,'' but it is not clear how extra rotation relates to or causes pathological behavior. Through empirical and theoretical analysis we advance a unified geometric understanding of attention behavior with RoPE. We find that attention induces tight clustering of separated key and query latent point clouds, allowing for creation of sink tokens: placeholders that allow attention heads to avoid token mixing when not required. RoPE applied to longer inputs damages this key/query cluster separation, producing pathological behavior by inhibiting sink token functionality. From this geometric perspective, we propose RoPE-ID (In Distribution), a straightforward modification that allows attention layers to generalize to longer inputs out of the box: apply RoPE with high frequency to a subset of channels. We demonstrate the effectiveness of RoPE-ID for extended inputs using 1B and 3B parameter Transformers on the LongBench and RULER information retrieval benchmarks.
• Abstract（参考訳）: RoPE(Rotary Positional Embedding)は、言語モデルにおける位置の符号化手法として広く採用されている手法である。 先行分析では、長い入力がチャネルを‘分布外’に回転させると(正しく)主張するが、余分な回転が病理行動にどのように関係するかは明らかではない。 経験的および理論的解析を通じて、RoPEを用いた注意行動の統一的な幾何学的理解を進める。 注意は、分離されたキーとクエリ潜在ポイントのクラウドの密集を誘導し、シンクトークンの作成を可能にします。 長い入力に適用されたRoPEは、このキー/クエリクラスタの分離に損傷を与え、シンクトークン機能を抑制することによって、病理学的な振る舞いを引き起こす。 この幾何学的観点から,注目層をボックス外に長めの入力を一般化するための簡単な修正であるRoPE-ID(In Distribution)を提案する。 本稿では,LongBench および RULER 情報検索ベンチマークにおける 1B および 3B パラメータ変換器を用いた拡張入力に対する RoPE-ID の有効性を示す。

関連論文リスト

• Demystifying the Slash Pattern in Attention: The Role of RoPE [108.78812285352507]
  我々は,スラッシュ・ドミナント・ヘッド(SDH)の出現を経験的,理論的両面から軽視する。 SDHはモデルに固有のものであり、分布外プロンプトに一般化する。
  論文  参考訳（メタデータ） (2026-01-13T07:40:57Z)
• DoPE: Denoising Rotary Position Embedding [60.779039511252584]
  トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
  論文  参考訳（メタデータ） (2025-11-12T09:32:35Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models [19.3827288035483]
  双曲型回転位置決め法を提案する。 トークン表現にローレンツ回転を実装するために双曲関数を利用する(HoPE)。 テストは、HoPEが既存の位置符号化手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-05T16:20:48Z)
• HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation [19.42279057349193]
  位置符号化(PE)は、長く続く帰納的意見に基づいて、長期的な腐敗を示すように設計されている。 我々は、LLMがコンテキスト内情報の正確な検索を要求するタスクに適用されるようになったため、LLMの時代において長期の崩壊は時代遅れであると主張している。
  論文  参考訳（メタデータ） (2024-10-28T17:01:52Z)
• Scaling Laws of RoPE-based Extrapolation [103.33995311915864]
  基本値と外挿性能の関係を記述するために,RoPEに基づく外挿法におけるtextbftextitScaling法則を提案する。 LLaMA2 7Bと13Bで最大100万の文脈長を16Kのトレーニング長で達成した。
  論文  参考訳（メタデータ） (2023-10-08T15:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。