論文の概要: Higher-Dimensional Rotary Position Embedding

• arxiv url: http://arxiv.org/abs/2608.29715v1
• Date: Sun, 30 Aug 2026 10:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.051608
• Title: Higher-Dimensional Rotary Position Embedding
• Title（参考訳）: 高次元回転位置埋め込み
• Abstract要約: RoPE(Rotary Position Embedding)は、位置情報を独立した2次元回転で埋め込む。 独立な2次元回転から高次元回転へ拡張するHD-RoPEを提案する。 HD-RoPEは、追加のトレーニング可能なパラメータを導入することなく、エンジニアリング効率に容易に最適化できる。
• 参考スコア（独自算出の注目度）: 36.55400843027212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers rely on position embedding mechanisms in long context modeling in most cases. Rotary Position Embedding (RoPE) embeds positional information with independent 2D rotations, forming relative position terms in self-attention. However, its pairwise, block-based, and decoupled structure limits deep mixing and robustness across channels. We propose HD-RoPE, which extends RoPE from independent 2D rotations to higher-dimensional rotations and introduces a Paley-I orthogonal basis to obtain balanced, isotropic, and dense phase mixing within each rotation subspace. This significantly enhances channel coupling and rotational degrees of freedom while maintaining orthogonal stability and the relative position closure property. Furthermore, HD-RoPE is easily optimized for engineering efficiency without introducing additional trainable parameters. We have conducted extensive evaluation results demonstrating that HD-RoPE achieves significant performance improvements over standard RoPE across various popular benchmarks and in both long and short contexts.
• Abstract（参考訳）: トランスフォーマーは、多くの場合、長いコンテキストモデリングにおける位置埋め込み機構に依存している。 RoPE(Rotary Position Embedding)は、位置情報を独立した2次元回転で埋め込む。 しかし、その対、ブロックベース、疎結合構造はチャネル間の深い混合と堅牢性を制限する。 独立な2次元回転から高次元回転へ拡張するHD-RoPEを提案し,各回転部分空間内での平衡,等方,密位相混合を得るために,Paley-I直交基底を導入する。 これにより、直交安定性と相対的位置閉鎖性を保ちながら、チャネル結合と自由度を著しく向上する。 さらに、HD-RoPEは、追加のトレーニング可能なパラメータを導入することなく、エンジニアリング効率に容易に最適化できる。 我々は,HD-RoPEが,様々なベンチマーク,長短コンテキストにおいて,標準のRoPEよりも大幅な性能向上を実現していることを示す広範囲な評価実験を行った。

関連論文リスト

• Disentangling the Expressivity of RoPE [53.85490969529292]
  完全一様で有限精度のソフトアテンション変換器のアカウントを定式化する。 すべての回転成分が周期的であると、RoPE変換器はモジュラー述語で過去の時間論理で定義可能な言語を正確に認識する。
  論文  参考訳（メタデータ） (2026-08-12T10:37:21Z)
• nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding [7.04717162882032]
  nD-RoPE は任意の次元への分解のない RoPE の一般化である。 画像、ビデオ、ポイントクラウドにわたる実験は、一貫したパフォーマンス向上を示し、高次元設定での一般化を改善した。
  論文  参考訳（メタデータ） (2026-06-10T14:38:00Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane [49.14270539697387]
  Spiral RoPEは、多方向位置符号化を可能にするシンプルで効果的な拡張である。 分類、セグメンテーション、生成を含む幅広い視覚タスクにおいて、Spral RoPEは一貫して性能を改善している。
  論文  参考訳（メタデータ） (2026-02-03T07:56:58Z)
• One Attention, One Scale: Phase-Aligned Rotary Positional Embeddings for Mixed-Resolution Diffusion Transformer [48.30024190686566]
  CRPA(Cross-Resolution Phase-Aligned Attention)は、トレーニング不要のドロップイン修正で、ソースでのこの障害を取り除く。 CRPAはトレーニング済みのDiTと完全に互換性があり、すべてのヘッドとレイヤを均一に安定化させる。 CRPAにより高忠実かつ高効率な混合分解能生成が可能であり、画像およびビデオ生成における従来の最先端手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2025-11-24T23:10:15Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• Positional Encoding via Token-Aware Phase Attention [45.855203550592734]
  本研究は,Rotary Positional Embedding (RoPE) が注意点の内在的距離依存バイアスを導入し,RoPEが長期コンテキストをモデル化する能力を制限していることを示す。 本稿では,学習可能な位相関数をアテンション機構に組み込んだ新しい位置符号化手法であるToken-Aware Phase Attention (TAPA)を紹介する。
  論文  参考訳（メタデータ） (2025-09-16T03:53:32Z)
• ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices [25.99231204405503]
  トレーニング可能な通勤角行列で定義することで回転位置PE(RoPE)を一般化するComRoPEを提案する。 我々は、RoPE方程式の十分な解として、トレーニング可能な通勤角行列を2種類提示する。 我々のフレームワークは,既存の RoPE の定式化を一般化し,将来的な位置符号化研究のための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-04T09:10:02Z)
• Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding [1.8142288667655782]
  回転位置埋め込み(RoPE)のための体系的数学的枠組みを提案する。 我々は、RPEの2つのコア特性-相対性と可逆性-に基づいて、有効な$N$-dimensional RoPEに必要な条件を導出する。 我々のフレームワークは,高次元のモダリティやタスクへの原則拡張を実現しつつ,既存のRoPE設計を統一し,解説する。
  論文  参考訳（メタデータ） (2025-04-07T21:58:22Z)
• DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling [9.86959003425198]
  Directional Rotary Position Embedding (DRoPE) は、もともと自然言語処理で開発されたRotary Position Embedding (RoPE) の新規な適応である。 DRoPEは、RoPEの2次元回転変換に均一なIDスカラーを導入することで制限を克服する。 実験的な評価により、DRoPEの性能は良好であり、空間の複雑さは著しく低下した。
  論文  参考訳（メタデータ） (2025-03-19T09:23:09Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。