論文の概要: ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices

• arxiv url: http://arxiv.org/abs/2506.03737v1
• Date: Wed, 04 Jun 2025 09:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.251405
• Title: ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices
• Title（参考訳）: ComRoPE: トレーニング可能な通勤角行列によりパラメータ化されたスケーラブルかつロバストな回転位置埋め込み
• Authors: Hao Yu, Tangyu Jiang, Shuning Jia, Shannan Yan, Shunning Liu, Haolong Qian, Guanghao Li, Shuting Dong, Huaisong Zhang, Chun Yuan,
• Abstract要約: トレーニング可能な通勤角行列で定義することで回転位置PE(RoPE)を一般化するComRoPEを提案する。 我々は、RoPE方程式の十分な解として、トレーニング可能な通勤角行列を2種類提示する。 我々のフレームワークは,既存の RoPE の定式化を一般化し,将来的な位置符号化研究のための新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 25.99231204405503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture has revolutionized various regions since it was proposed, and its effectiveness largely depends on the ability to encode positional information. Traditional position encoding methods exhibit significant limitations due to lack of robustness and flexibility of position. Therefore, Rotary Positional Encoding (RoPE) was proposed to alleviate these issues, which integrates positional information by rotating the embeddings in the attention mechanism. However, RoPE requires manually defined rotation matrices with limited transformation space, constraining the model's capacity. In this work, we propose ComRoPE, which generalizes RoPE by defining it in terms of trainable commuting angle matrices. Specifically, we demonstrate that pairwise commutativity of these matrices is essential for RoPE to achieve scalability and positional robustness. We formally define the RoPE Equation, which is an essential condition that ensures consistent performance with position offsets. Based on the theoretical analysis, we present two types of trainable commuting angle matrices as sufficient solutions to the RoPE equation, which significantly improve performance, surpassing the current state-of-the-art method by 1.6% at training resolution and 2.9% at higher resolution on the ImageNet-1K dataset. Furthermore, our framework shows versatility in generalizing to existing RoPE formulations and offering new insights for future positional encoding research. To ensure reproducibility, the source code and instructions are available at https://github.com/Longin-Yu/ComRoPE
• Abstract（参考訳）: トランスフォーマーアーキテクチャは提案されて以来、様々な領域に革命をもたらしており、その有効性は位置情報をエンコードする能力に大きく依存している。 従来の位置符号化法は、ロバスト性や位置の柔軟性の欠如により、大きな制限が生じる。 そのため,ロタリー位置エンコーディング(RoPE)はこれらの問題を緩和するために提案され,アテンション機構に埋め込みを回転させることで位置情報を統合する。 しかし、RoPEは変換空間が限定された手動で定義された回転行列を必要とし、モデルの容量を制限している。 本研究では,トレーニング可能な通勤角行列を用いてRoPEを定義することで,RoPEを一般化するComRoPEを提案する。 具体的には、これらの行列の対の可換性は、スケーラビリティと位置ロバスト性を達成するためにRoPEにとって不可欠であることを示す。 位置オフセットと一貫した性能を保証する重要な条件であるRoPE方程式を正式に定義する。 理論的解析から,2種類のトレーニング可能な通勤角行列をRoPE方程式の十分解として提示し,現在の最先端の手法を1.6%,ImageNet-1Kデータセットで2.9%の精度で上回った。 さらに,本フレームワークは既存の RoPE の定式化を一般化し,将来的な位置符号化研究のための新たな知見を提供する。 再現性を確保するため、ソースコードと命令はhttps://github.com/Longin-Yu/ComRoPEで入手できる。

関連論文リスト

• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Encoding [0.4604003661048266]
  リー群とリー代数理論に基づく RoPE の体系的な数学的枠組みを提案する。 相対性と可逆性という2つのRoPEのコア特性を同定し, 1次元, 2次元, N次元で有効なRoPEの一般制約と構成を導出する。 我々のフレームワークは既存のRoPE設計を統一し、新しいモダリティやタスクへの原則拡張を可能にする。
  論文  参考訳（メタデータ） (2025-04-07T21:58:22Z)
• DRoPE: Directional Rotary Position Embedding for Efficient Agent Interaction Modeling [9.86959003425198]
  Directional Rotary Position Embedding (DRoPE) は、もともと自然言語処理で開発されたRotary Position Embedding (RoPE) の新規な適応である。 DRoPEは、RoPEの2次元回転変換に均一なIDスカラーを導入することで制限を克服する。 実験的な評価により、DRoPEの性能は良好であり、空間の複雑さは著しく低下した。
  論文  参考訳（メタデータ） (2025-03-19T09:23:09Z)
• Base of RoPE Bounds Context Length [37.11078116104313]
  回転位置埋め込み (RoPE) は、位置情報を回転行列で符号化する技法である。 本稿では, LLM が OOD 理論に基づく表層長文能力を得る可能性があることを明らかにする。 我々の研究は、文脈長とRoPEベースとの関係を理論的にも経験的にも明らかにし、将来の長期の文脈トレーニングに光を当てるかもしれない。
  論文  参考訳（メタデータ） (2024-05-23T14:03:31Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement [118.20816888815658]
  SPE-Netという名前の3Dポイントクラウドアプリケーションに適した新しいディープアーキテクチャを提案する。 埋め込みSelective Position variant' の手順は、入力の根底にある回転条件に効果的に対応できる注意機構に依存している。 SPE-Netと関連する仮説の利点を4つのベンチマークで示し、SOTA法よりも回転試験データと回転試験データの両方に明らかな改善点を示した。
  論文  参考訳（メタデータ） (2022-11-15T15:59:09Z)
• DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
  本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。 このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。 提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T02:59:54Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。