論文の概要: LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

• arxiv url: http://arxiv.org/abs/2607.10134v1
• Date: Sat, 11 Jul 2026 05:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.31131
• Title: LeRoPE: Learnable RoPE Frequencies Improve Language Modeling
• Title（参考訳）: LeRoPE: 学習可能なRoPE周波数による言語モデリングの改善
• Abstract要約: 我々は、高ノルム位置のLeRoPEバンドの出現を観察し、解析する。 LeRoPEはすべてのスケールでRoPEと部分RoPEを一貫して上回る。
• 参考スコア（独自算出の注目度）: 20.518459444800474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rotary Positional Encodings (RoPE) are currently the most popular positional encodings used in modern language models. RoPE rotates two-dimensional chunks of query and key vectors, operating as a function of their relative positional offset. The position-wise rates of rotation in RoPE typically follow a geometric sequence specified by a fixed base-frequency hyperparameter. Prior work has improved performance by either increasing this parameter to slow rotation or by applying RoPE to only a subset of QK dimensions. In this work we modify RoPE by learning a scalar per frequency, treating frequencies as learnable parameters rather than hyperparameters. We validate Learned RoPE by training a ladder of language models from scratch, ranging from 52M to 2.5B parameters. We observe and analyze the emergence of a high-norm, positional LeRoPE band. LeRoPE consistently outperforms RoPE and partial RoPE across all scales, with RoPE requiring 3.4% more compute (FLOPs) to match LeRoPE at the largest scale.
• Abstract（参考訳）: RoPE (Rotary Positional Encodings) は現代の言語モデルにおいて最も一般的な位置符号化である。 RoPEは2次元のクエリとキーベクトルのチャンクを回転させ、相対的な位置オフセットの関数として動作する。 RoPEにおける回転位置の回転速度は、通常、固定基底周波数ハイパーパラメータによって指定された幾何列に従う。 以前の作業では、このパラメータをスローローテーションに増やすか、あるいは、RPEをQK次元のサブセットにのみ適用することでパフォーマンスを改善した。 本研究では、周波数毎のスカラーを学習することでRoPEを修正し、周波数をハイパーパラメータではなく学習可能なパラメータとして扱う。 我々は、52Mから2.5Bパラメータの言語モデルのラグをスクラッチからトレーニングすることでLearted RoPEを検証する。 我々は、高ノルム位置のLeRoPEバンドの出現を観察し、解析する。 LeRoPEは、すべてのスケールでRoPEと部分RoPEを一貫して上回り、最大のスケールでLeRoPEと一致するためには3.4%の計算(FLOP)を必要とする。

関連論文リスト

• Disentangling the Expressivity of RoPE [53.85490969529292]
  完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
  論文  参考訳（メタデータ） (2026-08-12T10:37:21Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs [18.897130541385646]
  RoPE(Rotary Positional Embedding)は、大規模言語モデル(LLM)におけるコンテキストスケーリングの鍵となるコンポーネントである。 本研究は,RoPEの低周波成分をソフトに切断する最小限の介入により,これらの特徴を統一するものである。 CoPEはOOD出力を除去し、セマンティックシグナルを洗練するだけでなく、ハードクリッピングによるスペクトルリークを防ぐ。
  論文  参考訳（メタデータ） (2026-02-05T03:31:14Z)
• A Circular Argument : Does RoPE need to be Equivariant for Vision? [45.33536249657655]
  数学的には、RoPEは1次元データに同変位置埋め込みを組み込むための最も一般的な解の1つであることを示す。 我々は,Mixed RoPEに類似した手法であるSpherical RoPEを提案するが,非可換ジェネレータを仮定する。
  論文  参考訳（メタデータ） (2025-11-11T15:47:54Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
  本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。 本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:22:27Z)
• ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices [25.99231204405503]
  トレーニング可能な通勤角行列で定義することで回転位置PE(RoPE)を一般化するComRoPEを提案する。 我々は、RoPE方程式の十分な解として、トレーニング可能な通勤角行列を2種類提示する。 我々のフレームワークは,既存の RoPE の定式化を一般化し,将来的な位置符号化研究のための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-04T09:10:02Z)
• VideoRoPE: What Makes for Good Video Rotary Position Embedding? [109.88966080843608]
  VideoRoPEは、長いビデオ検索、ビデオ理解、ビデオ幻覚といった様々な下流タスクにまたがって、従来型のRoPEを一貫して上回っている。 VideoRoPEは、周期的振動を緩和するためのテキスト低周波時間割当、空間対称性を維持するためのテキスト対角配置、時間的および空間的インデックスを分離するためのテキスト調整可能な時間間隔を備えている。
  論文  参考訳（メタデータ） (2025-02-07T18:56:04Z)
• Round and Round We Go! What makes Rotary Positional Encodings useful? [15.543752938828831]
  メカニカルレベルでの RoPE の使用方法を理解するため, トレーニングされた Gemma 7B モデルの内部構造について検討した。 Gemma は,RoPE を用いて高周波数を利用してロバストな「位置的」アテンションパターンを構築することを学ぶ。 強調された問題を修正し、性能を向上するRoPEの修正を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:07:01Z)
• Scaling Laws of RoPE-based Extrapolation [103.33995311915864]
  基本値と外挿性能の関係を記述するために,RoPEに基づく外挿法におけるtextbftextitScaling法則を提案する。 LLaMA2 7Bと13Bで最大100万の文脈長を16Kのトレーニング長で達成した。
  論文  参考訳（メタデータ） (2023-10-08T15:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。