論文の概要: Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

• arxiv url: http://arxiv.org/abs/2608.10021v1
• Date: Sun, 09 Aug 2026 10:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.75744
• Title: Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
• Title（参考訳）: 変圧器の位置符号化:絶対的・相対的方法からロータリー位置埋め込みと長期スケーリング
• Abstract要約: 我々は,正弦波および学習された絶対位置埋め込み,ショースタイルの相対位置表現,トランスフォーマーXL,T5相対位置バイアス,ALiBi,ロータリー位置埋め込み(RoPE)を統一的に記述する。 次に、位置補間、RoPEスケーリング法、NTK対応スケーリング、動的NTK、NTK-by-parts、Yarn、LongRoPE、LongRoPE2などの長文拡張について検討する。 中心的な結論は、トレーニング長を超える位置特徴を計算できることは、長期コンテキストの一般化を重要視しないということである。
• 参考スコア（独自算出の注目度）: 3.3534582603188476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention models content-dependent interactions between tokens but does not by itself encode token order. Position encoding addresses this limitation by introducing absolute coordinates, relative distances, or position-dependent rotations into Transformer representations and attention scores. This technical survey develops a unified account of sinusoidal and learned absolute position embeddings, Shaw-style relative position representations, Transformer-XL, T5 relative position bias, ALiBi, and Rotary Position Embeddings (RoPE). We derive how RoPE converts absolute position indices into relative phase differences in Query-Key inner products and compare these methods in terms of where position is injected, computational cost, compatibility with KV caching, and length extrapolation. We then examine long-context extensions, including Position Interpolation, RoPE scaling laws, NTK-aware scaling, Dynamic NTK, NTK-by-parts, YaRN, LongRoPE, and LongRoPE2, with emphasis on frequency allocation, attention rescaling, training length, and target context length. We also summarize implementation considerations, evaluation protocols, and position-encoding choices in representative large language models. A central conclusion is that the ability to compute positional features beyond the training length does not imply reliable long-context generalization; context extension must be evaluated through short-context retention, position-wise perplexity, retrieval, reasoning, and long-context code tasks.
• Abstract（参考訳）: 自己アテンションはトークン間のコンテンツ依存の相互作用をモデル化するが、それ自体はトークンの順序を符号化するわけではない。 位置符号化は、絶対座標、相対距離、位置依存回転をトランスフォーマー表現とアテンションスコアに導入することで、この制限に対処する。 この技術調査は、正弦波と学習された絶対位置埋め込み、ショースタイルの相対位置表現、トランスフォーマーXL、T5相対位置バイアス、ALiBi、Rotary Position Embeddings (RoPE)の統一的な説明を開発する。 我々は,RoPEが絶対位置指標をクエリキー内積の相対位相差に変換する方法を導出し,位置の注入場所,計算コスト,KVキャッシングとの整合性,長さ外挿などの観点から比較する。 次に、位置補間、RoPEスケーリング法、NTK対応スケーリング、NTK対応スケーリング、NTKバイパート、YarRN、LongRoPE、LongRoPE2などの長文拡張について、周波数アロケーション、アテンション再スケーリング、トレーニング長、ターゲットコンテキスト長に着目して検討する。 また、代表的大言語モデルにおける実装の考察、評価プロトコル、位置符号化の選択についても要約する。 中心的な結論は、トレーニング長を超える位置特徴を計算する能力は、長いコンテキストの一般化を暗示しないということである; 文脈拡張は、短コンテキストの保持、位置ワイドなパープレキシティ、検索、推論、長コンテキストのコードタスクを通じて評価する必要がある。

関連論文リスト

• Content-Based Addressing for Long Context [0.0]
  RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。 これは、ローカルトークンの順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生成する。 代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。
  論文  参考訳（メタデータ） (2026-09-07T10:33:44Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training [51.23520027773028]
  コンテキストウィンドウサイズの拡張により、大きな言語モデルでは、より長いシーケンスを処理し、より複雑なタスクを処理できる。 我々は,RoPEをBFloat16フォーマットで使用すると,数値的な問題が発生し,目的とする相対的位置エンコーディングから逸脱してしまうことを観察した。 我々は,BFloat16による数値問題を軽減するプラグイン・アンド・プレイアテンション法であるAnchorAttentionを開発した。
  論文  参考訳（メタデータ） (2024-11-20T17:22:31Z)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
  畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。 提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
  論文  参考訳（メタデータ） (2021-07-13T08:07:22Z)
• CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings [33.87449556591022]
  絶対位置埋め込みのための拡張型アプローチ(CAPE)を提案する。 CAPEは絶対(単純さと速度)と相対的な位置埋め込み(一般化)の両方の利点を保っている。
  論文  参考訳（メタデータ） (2021-06-06T14:54:55Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。