論文の概要: Selective Rotary Position Embedding

• arxiv url: http://arxiv.org/abs/2511.17388v1
• Date: Fri, 21 Nov 2025 16:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:19.119573
• Title: Selective Rotary Position Embedding
• Title（参考訳）: 選択的回転位置埋め込み
• Authors: Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher,
• Abstract要約: テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 84.22998043041198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Position information is essential for language modeling. In softmax transformers, Rotary Position Embeddings (\textit{RoPE}) encode positions through \textit{fixed-angle} rotations, while in linear transformers, order is handled via input-dependent (selective) gating that decays past key-value associations. Selectivity has generally been shown to improve language-related tasks. Inspired by this, we introduce \textit{Selective RoPE}, an \textit{input-dependent} rotary embedding mechanism, that generalizes \textit{RoPE}, and enables rotation in \textit{arbitrary angles} for both linear and softmax transformers. We show that softmax attention already performs a hidden form of these rotations on query-key pairs, uncovering an implicit positional structure. We further show that in state-space models and gated linear transformers, the real part manages forgetting while the imaginary part encodes positions through rotations. We validate our method by equipping gated transformers with \textit{Selective RoPE}, demonstrating that its input-dependent rotations improve performance in language modeling and on difficult sequence tasks like copying, state tracking, and retrieval.
• Abstract（参考訳）: 位置情報は言語モデリングに不可欠である。 ソフトマックス変圧器では、ロータリー位置埋め込み (\textit{RoPE}) は \textit{fixed-angle} 回転を通して位置を符号化するが、線形変圧器では、順序は入力依存(選択)ゲーティングによって処理され、キーと値の関連が崩壊する。 選択性は一般的に言語関連タスクを改善することが示されている。 これに触発されて、リニアおよびソフトマックス変換器の両方に対して、 \textit{Selective RoPE}, \textit{input-dependent} 回転埋め込み機構を導入し、 \textit{RoPE} を一般化し、 \textit{arbitrary angle} の回転を可能にする。 ソフトマックス・アテンションは問合せキー対にこれらの回転を隠蔽し、暗黙的な位置構造を発見できることを示す。 さらに、状態空間モデルとゲート線形変換器では、実部は、回転によって位置を符号化するが、実部は忘れを制御していることを示す。 提案手法は, 入力依存回転により言語モデルの性能が向上し, 複製, 状態追跡, 検索などの困難なシーケンスタスクにおいて, ゲートトランスフォーマーに \textit{Selective RoPE} を組み込むことで検証する。

関連論文リスト

• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Rotary Offset Features in Large Language Models [0.9137554315375919]
  回転埋め込みを用いた場合,クエリやキーに現れる特徴やパターンについて検討する。 回転周波数が回転オフセット特徴をもたらす境界を導出する。 私たちは、異なるサイズとアーキテクチャのモデルに対して、経験的に予測を検証します。
  論文  参考訳（メタデータ） (2025-03-03T18:55:09Z)
• LieRE: Lie Rotational Positional Encodings [5.32707456872718]
  トランスフォーマーアーキテクチャは入力データの構造をモデル化するために位置符号化に依存している。 変換器における位置符号化の表現能力を高めるために、リー相対代数(LieRE)を導入する。 2次元および3次元視覚タスクにおけるLieREの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-14T17:41:55Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。