論文の概要: Disentangling the Expressivity of RoPE

• arxiv url: http://arxiv.org/abs/2608.11909v1
• Date: Wed, 12 Aug 2026 10:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.557301
• Title: Disentangling the Expressivity of RoPE
• Title（参考訳）: RoPEの表現性を遠ざける
• Abstract要約: 完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
• 参考スコア（独自算出の注目度）: 53.85490969529292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two accounts recur in explanations of the success of rotary position embeddings (RoPE). Expressivity studies associate periodic position information with modular predicates, whereas mechanistic and long-context studies emphasize positional anchors and local offsets. We formalize both accounts for fully uniform, finite-precision soft-attention transformers. We find that, if every rotary component is periodic, RoPE transformers recognize exactly the languages definable in past temporal logic with modular predicates. Conventional RoPE is different: The rotations it computes never repeat. This yields a precision-dependent bounded simulation of fixed-offset look-back operators, rather than an all-length modular characterization. Controlled experiments match this separation: Constructed periodic schedules length-generalize on modular languages, while conventional RoPE behaves more like a bounded locality bias and can impair tasks requiring position-invariant access to distant context. Altogether, our findings shed light on RoPE transformers, bringing theoretical expressivity characterizations closer to models used in practice.
• Abstract（参考訳）: 2つの説明は回転位置埋め込み(RoPE)の成功の説明に再帰する。 表現性の研究は周期的な位置情報とモジュラー述語を関連付けるが、機械学と長期コンテキストの研究は位置アンカーと局所オフセットを強調する。 完全に一様で、有限精度のソフトアテンション変換器について、両方の説明を定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。 従来の RoPE は異なる: 計算する回転は繰り返されない。 これにより、全長モジュラー特徴づけではなく、正確に依存した固定オフセットルックバック作用素の有界なシミュレーションが得られる。 構成された周期的スケジュールはモジュラー言語で長周期的に一般化されるが、従来のRoPEは境界的局所性バイアスのように振る舞うことができ、位置不変のタスクを遠くのコンテキストに渡すことができる。 いずれにせよ,我々の研究はRoPE変換器に光を当てて,理論的な表現性特性を実際に用いられるモデルに近づけた。

関連論文リスト

• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs [72.8830548005884]
  RoPE(Rotary Position Embeddings)は、大規模言語モデルにおけるシーケンスオーダの符号化の標準となっている。 標準実装では、注目スコア計算に複雑な値のドット積の実際のコンポーネントのみを利用する。 この想像的要素を再組み込む拡張を提案する。
  論文  参考訳（メタデータ） (2025-12-08T12:59:54Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models [19.3827288035483]
  双曲型回転位置決め法を提案する。 トークン表現にローレンツ回転を実装するために双曲関数を利用する(HoPE)。 テストは、HoPEが既存の位置符号化手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-05T16:20:48Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization [23.936687072300053]
  回転位置埋め込み(RoPE)は非均一離散フーリエ変換を暗黙的に達成することで周期的に注意を向けることができることを示す。 本稿では,FoPE(Fourier Position Embedding)を提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:44:01Z)
• Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
  畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。 提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
  論文  参考訳（メタデータ） (2021-07-13T08:07:22Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。