論文の概要: RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings

• arxiv url: http://arxiv.org/abs/2609.34556v2
• Date: Sat, 03 Oct 2026 07:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 05:32:13.890552
• Title: RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings
• Title（参考訳）: RoPEは死んだ、長く生きたRoPE - スケーラブルなデータ認識位置符号化を目指して
• Abstract要約: Rotary Position Embedding (RoPE) は現代の言語モデルではデフォルトの位置エンコーディングとなっている。 既存の代替案は異なる設定で評価されており、文献は断片化され、明確な置き換えは行われていない。 我々は,高速帯域上で標準の RoPE を保ちながら,文脈表現から学習した有界座標で遅い帯域上の絶対位置を置き換えるデータアウェアネス RoPE を導入する。
• 参考スコア（独自算出の注目度）: 8.53540271606787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers process tokens without any inherent notion of order, making positional encoding a fundamental requirement rather than an architectural refinement. Rotary Position Embedding (RoPE) has become the default positional encoding in modern language models, yet it is heavily biased toward nearby tokens. Existing alternatives have been evaluated under different settings, leaving the literature fragmented and without a clear replacement. We bring structure to this landscape by examining a specific weakness of RoPE: its slow frequency bands, whose wavelengths exceed the training context and expose models to unseen angles during extrapolation. We therefore introduce Data aware RoPE (DaRoPE), which preserves standard RoPE on the fast bands but replaces absolute position on the slow bands with bounded coordinates learned from contextual representations. Therefore, the slow-band geometry depends on the data rather than only on positional distance. We compare representative encodings under matched conditions across synthetic tasks, symbolic music, genomics, neural signals, and language models spanning 124M to 50B parameters. Across these experiments, DaRoPE leads on non-text benchmarks, mitigates recency bias, while remaining best or on par in language modeling and length extrapolation. Moreover, the learned coordinates also make the mechanism interpretable, revealing how attention layers leverage contextual information beyond token distance. Together, these results support DaRoPE as the best overall default among the evaluated methods, when there is no domain-specific reasons to prefer another.
• Abstract（参考訳）: トランスフォーマーは、順序の固有の概念なしにトークンを処理し、アーキテクチャの洗練よりも基本的な要件を位置エンコーディングする。 RoPE (Rotary Position Embedding) は現代の言語モデルではデフォルトの位置エンコーディングとなっているが、近隣のトークンに対して大きく偏っている。 既存の代替案は異なる設定で評価されており、文献は断片化され、明確な置き換えは行われていない。 波長がトレーニングコンテキストを超え、外挿中にモデルが見えない角度に露出する、遅い周波数帯域であるRoPEの特定の弱点を調べることによって、この景観に構造をもたらす。 そこで我々は,高速帯域上で標準の RoPE を保持するデータアウェアネス RoPE (DaRoPE) を導入し,文脈表現から学習した有界座標を用いて,遅い帯域における絶対位置を置き換えた。 したがって、スローバンド幾何は位置距離だけでなくデータに依存する。 合成課題,記号音楽,ゲノム学,神経信号,言語モデルなど,124Mから50Bのパラメータで一致した条件下での代表的な符号化を比較した。 これらの実験全体を通して、DaRoPEは非テキストベンチマークを導いており、言語モデリングや長さ補間において最良または同等に保ちながら、遅延バイアスを軽減している。 さらに、学習された座標はメカニズムを解釈し、注意層がトークン距離を超えたコンテキスト情報をどのように活用するかを明らかにする。 これらの結果は、ドメイン固有の理由がない場合に、評価されたメソッドの中でDaRoPEを最高の全体的なデフォルトとしてサポートします。

関連論文リスト

• Disentangling the Expressivity of RoPE [53.85490969529292]
  完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
  論文  参考訳（メタデータ） (2026-08-12T10:37:21Z)
• CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs [18.897130541385646]
  RoPE(Rotary Positional Embedding)は、大規模言語モデル(LLM)におけるコンテキストスケーリングの鍵となるコンポーネントである。 本研究は,RoPEの低周波成分をソフトに切断する最小限の介入により,これらの特徴を統一するものである。 CoPEはOOD出力を除去し、セマンティックシグナルを洗練するだけでなく、ハードクリッピングによるスペクトルリークを防ぐ。
  論文  参考訳（メタデータ） (2026-02-05T03:31:14Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• Length-Aware Rotary Position Embedding for Text-Speech Alignment [8.321525172143609]
  テキスト・音声のアライメントを改善するため,RoPEの単純かつ効果的な拡張であるLARoPE(Long-Aware RoPE)を導入する。 実験の結果、LARoPEはRoPEを一貫して上回り、損失収束の高速化、テキスト音声のアライメントの精度の向上、TTS全体の品質の向上を実現している。
  論文  参考訳（メタデータ） (2025-09-14T04:25:13Z)
• Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
  本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。 本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:22:27Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• VideoRoPE: What Makes for Good Video Rotary Position Embedding? [109.88966080843608]
  VideoRoPEは、長いビデオ検索、ビデオ理解、ビデオ幻覚といった様々な下流タスクにまたがって、従来型のRoPEを一貫して上回っている。 VideoRoPEは、周期的振動を緩和するためのテキスト低周波時間割当、空間対称性を維持するためのテキスト対角配置、時間的および空間的インデックスを分離するためのテキスト調整可能な時間間隔を備えている。
  論文  参考訳（メタデータ） (2025-02-07T18:56:04Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。