論文の概要: nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding
- arxiv url: http://arxiv.org/abs/2606.12146v1
- Date: Wed, 10 Jun 2026 14:38:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.50851
- Title: nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding
- Title（参考訳）: nD-RoPE:n次元位置埋め込みのための一般化されたRoPE
- Authors: Boyang Li, Yulin Wu, Sizhe Xu, Nuoxian Huang, Zhonghang Yuan, Shangyi Guo, Shu Yang, Takahiro Yabe,
- Abstract要約: nD-RoPE は任意の次元への分解のない RoPE の一般化である。
画像、ビデオ、ポイントクラウドにわたる実験は、一貫したパフォーマンス向上を示し、高次元設定での一般化を改善した。
- 参考スコア（独自算出の注目度）: 7.04717162882032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rotary Position Embedding (RoPE) is widely adopted in Transformer models, yet its extension to high-dimensional domains lacks a unified theoretical formulation. Most existing approaches either apply rotations independently along each axis or empirically mix frequencies, which limits cross-dimensional interactions and yields direction-dependent representations. To address these limitations, we propose nD-RoPE, a decomposition-free generalization of RoPE to arbitrary dimensions. From a translation-invariant formulation in continuous Hilbert space, we derive a spectral condition for isotropy that requires treating positions and frequencies as coupled \(n\)-dimensional vectors. We instantiate this formulation with a multi-scale regular-simplex wave-vector design, which provides non-degenerate spatial coverage and a symmetric, directionally balanced second-order response. Experiments across images, videos, and point clouds demonstrate consistent performance gains and improved generalization in high-dimensional settings.
- Abstract（参考訳）: RoPE(Rotary Position Embedding)はTransformerモデルで広く採用されているが、高次元領域への拡張には統一的な理論的定式化がない。
既存のほとんどのアプローチは、各軸に沿って独立に回転を施すか、あるいは周波数を経験的に混合する。
これらの制限に対処するため、任意の次元への分解自由なRoPEの一般化であるnD-RoPEを提案する。
連続ヒルベルト空間における変換不変な定式化から、位置と周波数を結合した \(n\)-次元ベクトルとして扱うことを必要とする等方性に対するスペクトル条件を導出する。
我々は、この定式化を、非退化空間カバレッジと対称で方向バランスの取れた2階応答を提供するマルチスケールの正則波ベクトル設計でインスタンス化する。
画像、ビデオ、ポイントクラウドにわたる実験は、一貫したパフォーマンス向上を示し、高次元設定での一般化を改善した。
関連論文リスト
- General Covariant Action Modeling: Constructing Generalized Manifolds via Spatio-Temporal Decoupling [48.559681359374146]
GAM(Generalized Action Manifold)フレームワークは、構造的ゆがみを通じて一般的な共分散を強制する。
GAMは、ジオメトリーに依存しないベースラインよりも優れた転送能力とロバスト性を実現する。
論文 参考訳（メタデータ） (2026-05-27T03:38:15Z) - Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-16T18:58:55Z) - Deterministic Generation of Arbitrary Fock States via Resonant Subspace Engineering [9.529916381983394]
共振部分空間工学(Resonant Subspace Engineering, RSE)は、無限次元ボゾン力学を二次元不変部分空間に解析的に閉じ込めるプロトコルである。
RSEは進化時間とゲート深さの両方で$O(n1/4)のスケーリングを実現し、既存の決定論的スキームに対する根本的な改善を示している。
RSEは大規模ボソニック状態工学とゲート合成のためのスケーラブルで分析的に透過的なフレームワークを提供する。
論文 参考訳（メタデータ） (2026-02-12T16:36:58Z) - Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。
本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:53Z) - Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane [49.14270539697387]
Spiral RoPEは、多方向位置符号化を可能にするシンプルで効果的な拡張である。
分類、セグメンテーション、生成を含む幅広い視覚タスクにおいて、Spral RoPEは一貫して性能を改善している。
論文 参考訳（メタデータ） (2026-02-03T07:56:58Z) - ARGUS: Adaptive Rotation-Invariant Geometric Unsupervised System [0.0]
本稿では,データ多様体の固定空間分割上での局所統計追跡としてドリフト検出を再現するフレームワークであるArgusを紹介する。
正準正則フレーム上のボロノイテッセルレーションは変換に不変なドリフト計量をもたらす。
孤立摂動からコヒーレントな分布シフトを区別するドリフト伝播のグラフ理論的特徴付けを開発した。
論文 参考訳（メタデータ） (2026-01-03T22:39:20Z) - WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。
いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。
結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文 参考訳（メタデータ） (2025-11-30T16:17:34Z) - Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding [1.8142288667655782]
回転位置埋め込み(RoPE)のための体系的数学的枠組みを提案する。
我々は、RPEの2つのコア特性-相対性と可逆性-に基づいて、有効な$N$-dimensional RoPEに必要な条件を導出する。
我々のフレームワークは,高次元のモダリティやタスクへの原則拡張を実現しつつ,既存のRoPE設計を統一し,解説する。
論文 参考訳（メタデータ） (2025-04-07T21:58:22Z) - SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [52.23806040289676]
パノラマ歪みは360度深度推定において大きな課題となる。
本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。
また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
論文 参考訳（メタデータ） (2024-04-23T12:36:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。