論文の概要: Clifford Algebraic Rotor Embeddings : Maybe embeddings should start to CARE
- arxiv url: http://arxiv.org/abs/2511.11665v1
- Date: Tue, 11 Nov 2025 12:50:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:22.87733
- Title: Clifford Algebraic Rotor Embeddings : Maybe embeddings should start to CARE
- Title(参考訳): Clifford Algebraic Rotor Embeddings : 埋め込みはCAREから始めるべきか
- Authors: Sameeksha Sriram, Ayush Paliwal, Alexander S. Ecker, Chase van de Geijn,
- Abstract要約: 四元数に基づくアプローチ(QuatRo)をオイラー角の代わりに示し、四元数が3次元回転を表現する能力を活用する。
幾何代数を用いたClifford Algebraic Rotary Embeddings (CARE) に対する QuatRo の一般化を提案する。
- 参考スコア(独自算出の注目度): 42.015081402412726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rotary Positional Embeddings (RoPE) have demonstrated exceptional performance as a positional encoding method, consistently outperforming their baselines. While recent work has sought to extend RoPE to higher-dimensional inputs, many such extensions are non-commutative, thereby forfeiting RoPE's shift-equivariance property. Spherical RoPE is one such non-commutative variant, motivated by the idea of rotating embedding vectors on spheres rather than circles. However, spherical rotations are inherently non-commutative, making the choice of rotation sequence ambiguous. In this work, we explore a quaternion-based approach -- Quaternion Rotary Embeddings (QuatRo) -- in place of Euler angles, leveraging quaternions' ability to represent 3D rotations to parameterize the axes of rotation. We show Mixed RoPE and Spherical RoPE to be special cases of QuatRo. Further, we propose a generalization of QuatRo to Clifford Algebraic Rotary Embeddings (CARE) using geometric algebra. Viewing quaternions as the even subalgebra of Cl(3,0,0), we extend the notion of rotary embeddings from quaternions to Clifford rotors acting on multivectors. This formulation enables two key generalizations: (1) extending rotary embeddings to arbitrary dimensions, and (2) encoding positional information in multivectors of multiple grades, not just vectors. We present preliminary experiments comparing spherical, quaternion, and Clifford-based rotary embeddings.
- Abstract(参考訳): RoPE(Rotary Positional Embeddings)は、位置符号化法として例外的な性能を示し、そのベースラインを一貫して上回っている。
最近の研究は、RoPEを高次元入力に拡張しようと試みているが、そのような拡張の多くは非可換であり、したがってRoPEのシフト-等分散性は排除されている。
球状 RoPE はそのような非可換変種の一つであり、円ではなく球面上に埋め込みベクトルを回転させることによって動機付けられる。
しかし、球面回転は本質的に非可換であり、回転列の選択は曖昧である。
本研究では、四元数に基づくアプローチである四元数回転埋め込み(QuatRo)をオイラー角の代わりに探求し、四元数が3次元回転を表現する能力を利用して回転軸をパラメタライズする。
ここでは,QuatRoの特別事例としてMixed RoPEとSpherical RoPEを示す。
さらに,幾何代数を用いたClifford Algebraic Rotary Embeddings (CARE) への QuatRo の一般化を提案する。
四元数をCl(3,0,0) の偶部分代数と見なすと、四元数から多ベクトルに作用するクリフォードローターへの回転埋め込みの概念を拡張する。
この定式化は、(1)回転埋め込みを任意の次元に拡張すること、(2)ベクトルだけでなく、複数のグレードの多重ベクトルにおける位置情報を符号化すること、の2つの重要な一般化を可能にする。
球面, 四元数, クリフォードをベースとした回転埋め込みを比較検討した予備実験を行った。
関連論文リスト
- Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Embedding [1.8142288667655782]
回転位置埋め込み(RoPE)のための体系的数学的枠組みを提案する。
我々は、RPEの2つのコア特性-相対性と可逆性-に基づいて、有効な$N$-dimensional RoPEに必要な条件を導出する。
我々のフレームワークは,高次元のモダリティやタスクへの原則拡張を実現しつつ,既存のRoPE設計を統一し,解説する。
論文 参考訳(メタデータ) (2025-04-07T21:58:22Z) - VI-Net: Boosting Category-level 6D Object Pose Estimation via Learning
Decoupled Rotations on the Spherical Representations [55.25238503204253]
作業を容易にするために,VI-Netと呼ばれる新しい回転推定ネットワークを提案する。
球面信号を処理するために、SPAtial Spherical Convolutionの新たな設計に基づいて、球面特徴ピラミッドネットワークを構築する。
ベンチマークデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳(メタデータ) (2023-08-19T05:47:53Z) - SU(2) Symmetry of Coherent Photons and Application to Poincar\'e Rotator [0.0]
リー代数は自然界で実現された量子システムの背後にある隠れた数学的構造である。
レーザー源から放射されるコヒーレント光子の偏光状態に対するSU(2)$波動関数を考える。
論文 参考訳(メタデータ) (2023-03-30T03:49:42Z) - Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。
本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。
RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
論文 参考訳(メタデータ) (2023-03-14T20:55:27Z) - Kinematics and Dynamics Modeling of 7 Degrees of Freedom Human Lower Limb Using Dual Quaternions Algebra [0.0]
本稿では、二元四元数理論を利用して、前方および逆運動学とニュートン・オイラー力学アルゴリズムの高速かつ正確な解を提供する。
論文 参考訳(メタデータ) (2023-02-22T19:02:47Z) - Pyramid R-CNN: Towards Better Performance and Adaptability for 3D Object
Detection [89.66162518035144]
点雲から2段階の3Dオブジェクトを検出するための柔軟で高性能なフレームワークであるPraamid R-CNNを提案する。
興味の疎い点から特徴を適応的に学習するために,ピラミッドRoIヘッドという新しい第2段モジュールを提案する。
我々のピラミッドRoIヘッドはスパースかつ不均衡な状況に対して堅牢であり、検出性能を継続的に向上するために様々な3Dバックボーンに適用することができる。
論文 参考訳(メタデータ) (2021-09-06T14:17:51Z) - Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。
カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。
オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
論文 参考訳(メタデータ) (2019-12-27T13:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。