論文の概要: AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally

• arxiv url: http://arxiv.org/abs/2607.19363v1
• Date: Fri, 05 Jun 2026 05:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.133338
• Title: AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally
• Title（参考訳）: AdaRoPE:すべての注意頭は回転して等しくスケールすべきではない
• Abstract要約: 本研究は,機能的役割の異なる頭部において,周波数範囲と注意スケーリング因子が効果的に機能するために必要であることを示す。 本稿では,アテンションヘッドに学習可能な回転周波数とアテンションスケーリング係数を付与するAdaRoPEを提案する。
• 参考スコア（独自算出の注目度）: 6.700920459684458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rotary Position Embedding (RoPE) is widely adopted in Transformers to encode positional information, yet standard implementations enforce a uniform frequency schedule and scaling across all attention heads. Using simplified retrieval tasks and length generalization scenarios, we show -- both empirically and theoretically -- that heads with different functional roles require distinct frequency ranges and attention scaling factors to operate effectively. Ignoring this structure leads to suboptimal utilization of embedding dimensions and degraded performance, particularly under long-context settings. To address these limitations, we propose AdaRoPE, which equips each attention head with learnable rotation frequencies and attention scaling factors. Pretrained LLMs with AdaRoPE consistently outperform existing RoPE variants, including partial RoPE and NoPE baselines. For context extension, we further show that uniform frequency and attention scaling, used in methods such as YaRN, are suboptimal. By applying head-specific scaling, AdaRoPE enables better context extension while better preserving short-context performance in both the extrapolation setting and the long-context continued pretraining setting. These results highlight the importance of optimizing rotary position embedding at the level of individual attention heads.
• Abstract（参考訳）: RoPE(Rotary Position Embedding)は、トランスフォーマーにおいて位置情報をエンコードするために広く採用されているが、標準実装では、すべての注目ヘッドをまたいだ均一な周波数スケジュールとスケーリングが実施されている。 単純化された検索タスクと長さ一般化のシナリオを用いて、異なる機能的役割を持つヘッドが効果的に動作するために異なる周波数範囲と注意スケーリング因子を必要とすることを示す。 この構造を無視することは、特に長いコンテキスト設定下で、埋め込み次元と劣化した性能の最適部分の利用につながる。 これらの制約に対処するため,各注目ヘッドに学習可能な回転周波数と注意スケーリング因子を付与するAdaRoPEを提案する。 AdaRoPE による事前の LLM は、部分的な RoPE や NoPE のベースラインを含む既存の RoPE の派生よりも一貫して優れていた。 文脈拡張では、YaRNなどの手法で使用される一様周波数と注意スケーリングが最適であることを示す。 ヘッド比のスケーリングを適用することで、AdaRoPEは、外挿設定と長文継続事前トレーニング設定の両方において、短いコンテキスト性能を保ちながら、より良いコンテキスト拡張を可能にします。 これらの結果は,個別の注意点における回転位置埋め込みの最適化の重要性を浮き彫りにした。

関連論文リスト

• Disentangling the Expressivity of RoPE [53.85490969529292]
  完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
  論文  参考訳（メタデータ） (2026-08-12T10:37:21Z)
• LeRoPE: Learnable RoPE Frequencies Improve Language Modeling [20.518459444800474]
  我々は、高ノルム位置のLeRoPEバンドの出現を観察し、解析する。 LeRoPEはすべてのスケールでRoPEと部分RoPEを一貫して上回る。
  論文  参考訳（メタデータ） (2026-07-11T05:47:23Z)
• Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs [72.8830548005884]
  RoPE(Rotary Position Embeddings)は、大規模言語モデルにおけるシーケンスオーダの符号化の標準となっている。 標準実装では、注目スコア計算に複雑な値のドット積の実際のコンポーネントのみを利用する。 この想像的要素を再組み込む拡張を提案する。
  論文  参考訳（メタデータ） (2025-12-08T12:59:54Z)
• RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models [23.726452130486496]
  タスク固有の適応には微調整された大きな言語モデルが必要であるが、計算的に禁止されている。 トレーニング可能なパラメータをよりターゲット的で効果的な方法で割り当てる新しいPEFTフレームワークであるRoPE対応選択適応(RoSA)を提案する。 RoSAはRoPE対応のアテンションエンハンスメント(RoAE)モジュールと、LayerNormのノルムに基づいて最も重要なレイヤを適応的に識別し更新する動的レイヤ選択(DLS)戦略を備えている。
  論文  参考訳（メタデータ） (2025-11-21T09:55:01Z)
• DoPE: Denoising Rotary Position Embedding [60.779039511252584]
  トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
  論文  参考訳（メタデータ） (2025-11-12T09:32:35Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization [23.936687072300053]
  回転位置埋め込み(RoPE)は非均一離散フーリエ変換を暗黙的に達成することで周期的に注意を向けることができることを示す。 本稿では,FoPE(Fourier Position Embedding)を提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:44:01Z)
• Scaling Laws of RoPE-based Extrapolation [103.33995311915864]
  基本値と外挿性能の関係を記述するために,RoPEに基づく外挿法におけるtextbftextitScaling法則を提案する。 LLaMA2 7Bと13Bで最大100万の文脈長を16Kのトレーニング長で達成した。
  論文  参考訳（メタデータ） (2023-10-08T15:50:36Z)
• The Impact of Positional Encoding on Length Generalization in Transformers [50.48278691801413]
  復号器のみの変圧器長一般化性能と5つの異なる位置符号化手法との比較を行った。 その結果,ALiBi,Rotary,APEなどの位置符号化法は,下流タスクにおける長さ一般化には適していないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T00:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。