論文の概要: Clebsch-Gordan Transformer: Fast and Global Equivariant Attention

• arxiv url: http://arxiv.org/abs/2509.24093v1
• Date: Sun, 28 Sep 2025 22:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.627477
• Title: Clebsch-Gordan Transformer: Fast and Global Equivariant Attention
• Title（参考訳）: Clebsch-Gordan Transformer: 高速かつグローバルな同変注意
• Authors: Owen Lewis Howell, Linfeng Zhao, Xupeng Zhu, Yaoyao Qian, Haojie Huang, Lingfeng Sun, Wil Thomason, Robert Platt, Robin Walters,
• Abstract要約: 我々はClebsch-Gordon Transformerを提案し、新しいClebsch-Gordon Convolutionを$SO(3)$の既約表現で実現した。 提案手法は,O(N log N)$入力トークンの複雑さを達成しつつ,任意の順序で特徴の同変モデリングを可能にする。 提案手法は,n体シミュレーション,QM9,ModelNet点クラウド分類,ロボットによる把握データセットなど,さまざまなベンチマークでベンチマークを行う。
• 参考スコア（独自算出の注目度）: 19.720202550140325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The global attention mechanism is one of the keys to the success of transformer architecture, but it incurs quadratic computational costs in relation to the number of tokens. On the other hand, equivariant models, which leverage the underlying geometric structures of problem instance, often achieve superior accuracy in physical, biochemical, computer vision, and robotic tasks, at the cost of additional compute requirements. As a result, existing equivariant transformers only support low-order equivariant features and local context windows, limiting their expressiveness and performance. This work proposes Clebsch-Gordan Transformer, achieving efficient global attention by a novel Clebsch-Gordon Convolution on $\SO(3)$ irreducible representations. Our method enables equivariant modeling of features at all orders while achieving ${O}(N \log N)$ input token complexity. Additionally, the proposed method scales well with high-order irreducible features, by exploiting the sparsity of the Clebsch-Gordon matrix. Lastly, we also incorporate optional token permutation equivariance through either weight sharing or data augmentation. We benchmark our method on a diverse set of benchmarks including n-body simulation, QM9, ModelNet point cloud classification and a robotic grasping dataset, showing clear gains over existing equivariant transformers in GPU memory size, speed, and accuracy.
• Abstract（参考訳）: グローバルアテンションメカニズムはトランスフォーマーアーキテクチャの成功の鍵の1つだが、トークンの数に関して2次計算コストを発生させる。 一方、問題インスタンスの基底となる幾何学的構造を利用する同変モデルでは、物理、生化学、コンピュータビジョン、ロボットタスクにおいて、さらなる計算要件を犠牲にしてより優れた精度を達成できることが多い。 その結果、既存の同変変圧器は低次同変の特徴と局所的なコンテキストウィンドウしかサポートせず、表現性や性能を制限している。 この研究は Clebsch-Gordan Transformer を提案し、新しい Clebsch-Gordon Convolution on $\SO(3)$ irreducible representations によって効率的なグローバルな注意を払っている。 本手法は,入力トークンの複雑性を${O}(N \log N)$で達成しながら,任意の順序で特徴の同変モデリングを可能にする。 さらに,提案手法はClebsch-Gordon行列の空間性を利用して,高次既約特徴とよく対応できる。 最後に、重み共有またはデータ拡張によって、任意のトークン置換同値も組み込む。 提案手法は,n体シミュレーション,QM9,ModelNet点クラウド分類,ロボットグルーピングデータセットなどの多種多様なベンチマークでベンチマークし,GPUメモリサイズ,速度,精度において,既存の同変トランスフォーマーよりも明らかに向上したことを示す。

関連論文リスト

• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction [29.12836710966048]
  本稿では,トークン数に応じて計算複雑性が線形にスケールする新しいトランスフォーマーアテンション演算子を提案する。 本研究は, トランスフォーマーアーキテクチャの成功に対して, ペアワイズ類似性スタイルの注意機構が重要であるという従来の知恵に疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2024-12-23T18:59:21Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。