論文の概要: SO(3)-RoPE for Spherical Transformers
- arxiv url: http://arxiv.org/abs/2610.06229v1
- Date: Mon, 05 Oct 2026 12:33:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 17:42:05.947882
- Title: SO(3)-RoPE for Spherical Transformers
- Title(参考訳): 球状変圧器用SO(3)-RoPE
- Abstract要約: 球面形状をユニタリなSO(3)表現を通じて変圧器の注意に組み込む相対的な位置埋め込みであるSO(3)-RoPEを導入する。
我々のSO3ViTは、回転する球体上での浅海力学予測において、S2Transformerベースラインよりも低い誤差と少ない実行時間で性能を向上する。
- 参考スコア(独自算出の注目度): 45.18579961963212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spherical data arise in many scientific applications. Often spherical transformers disregard the geometry of the underlying spherical domain, causing distortions and coordinate singularities near the poles. We introduce SO(3)-RoPE, a relative positional embedding that incorporates spherical geometry into transformer attention through unitary SO(3) representations. Our formulation is SO(3)-equivariant and compatible with FlashAttention, retaining efficiency of vanilla transformers. On shallow water dynamics prediction over a rotating sphere, our SO3ViT outperforms an S2Transformer baseline with lower errors and reduced runtime.
- Abstract(参考訳): 球面データは多くの科学的応用に現れる。
しばしば球面変圧器は、下層の球面領域の幾何学を無視し、歪みを引き起こし、極付近で特異点を調整する。
球面形状をユニタリなSO(3)表現を通じて変圧器の注意に組み込む相対的な位置埋め込みであるSO(3)-RoPEを導入する。
我々の定式化はSO(3)-同変であり、FlashAttentionと互換性があり、バニラ変圧器の効率を保っている。
我々のSO3ViTは、回転する球体上での浅海力学予測において、S2Transformerベースラインよりも低い誤差と少ない実行時間で性能を向上する。
関連論文リスト
- Rotation-Invariant Spherical Watermarking via Third-Order SO(3) Representation Coupling [28.45286547806906]
パノラマ画像の信頼性の高い透かしは、基本的に任意の3次元回転によって挑戦される。
球面信号としてパノラマを定式化し、$SO(3)$表現理論を利用して、証明可能な回転不変記述子を導出する。
論文 参考訳(メタデータ) (2026-05-26T08:43:40Z) - SO3UFormer: Learning Intrinsic Spherical Features for Rotation-Robust Panoramic Segmentation [1.6571781613404601]
パノラマ意味セグメンテーションモデルは通常、厳密な重力の仮定の下で訓練される。
実世界のキャプチャは、制約のないカメラの動きのために、この標準方向から逸脱することが多い。
この不一致により、標準的な球面トランスフォーマーはグローバルな緯度条件をオーバーフィットさせ、3次元リオリエンテーションの下で性能が低下する。
我々は,下層の座標フレームに敏感でない固有球面特徴を学習するために設計された回転ロバストアーキテクチャであるSO3UFormerを紹介する。
論文 参考訳(メタデータ) (2026-02-26T11:07:51Z) - Space filling positionality and the Spiroformer [0.0]
本稿では,空間充足曲線に追従したアテンションヘッドを用いた解を提案する。
最初の実験例として、スピロフォルマー(Spiroformer)という、2ドルの球面上の極渦巻に追従する変圧器を提示する。
論文 参考訳(メタデータ) (2025-07-11T09:56:15Z) - SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [52.23806040289676]
パノラマ歪みは360度深度推定において大きな課題となる。
本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。
また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
論文 参考訳(メタデータ) (2024-04-23T12:36:24Z) - O$n$ Learning Deep O($n$)-Equivariant Hyperspheres [18.010317026027028]
我々は、$n$Dの反射と回転の変換の下で、深い特徴同変を学習するためのアプローチを提案する。
すなわち、任意の次元$n$に一般化する球面決定曲面を持つ O$(n)$-同変ニューロンを提案する。
我々は理論的貢献を実験的に検証し、O$(n)$-equivariantベンチマークデータセットの競合する手法よりもアプローチの方が優れていることを発見した。
論文 参考訳(メタデータ) (2023-05-24T23:04:34Z) - Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。
本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。
RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
論文 参考訳(メタデータ) (2023-03-14T20:55:27Z) - Approximate Equivariance SO(3) Needlet Convolution [3.1050801937854504]
本稿では,回転群SO(3)に対する回転不変なフレッシュレット畳み込み法を開発し,球面信号のマルチスケール情報を蒸留する。
このネットワークは、球面信号の幾何学的不変の特徴を抽出する強力なツールを確立する。
NESは、量子化学レグレッションと宇宙マイクロ波背景(CMB)復調のための最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-17T17:21:56Z) - Spin-Weighted Spherical CNNs [58.013031812072356]
球面領域を離れることなく, 異方性フィルタを効率的に行うことができる新しい球面CNNを提案する。
鍵となる考え方は、重力波の研究において物理学で導入されたスピン重み付き球面関数を考えることである。
本手法は, 球面画像の分類, 3次元形状の分類, 球面パノラマのセマンティックセグメンテーションといったタスクにおいて, 従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-06-18T17:57:21Z) - SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。
我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
論文 参考訳(メタデータ) (2020-06-18T13:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。