論文の概要: EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers

• arxiv url: http://arxiv.org/abs/2604.09130v1
• Date: Fri, 10 Apr 2026 09:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.792223
• Title: EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
• Title（参考訳）: EquiformerV3:Scaling Efficient,Expressive and General SE(3)-Equivariant Graph Attention Transformer
• Authors: Yi-Lun Liao, Alexander J. Hoffman, Sabrina C. Shen, Alexandre Duval, Sam Walton Norwood, Tess Smidt,
• Abstract要約: 本稿では,$SE(3)$-equivariant graph attention Transformerの第3世代であるEquiformerV3を紹介する。 ソフトウェア実装を最適化し、$1.75タイムでスピードアップします。 SwiGLU-$S2$アクティベーションを提案する。
• 参考スコア（独自算出の注目度）: 70.68282700439444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As $SE(3)$-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the $SE(3)$-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving $1.75\times$ speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-$S^2$ activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling $S^2$ grids. Together, SwiGLU-$S^2$ activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.
• Abstract（参考訳）: 3次元原子論モデリングのコアツールとして成熟した$SE(3)$-equivariantグラフニューラルネットワークは、その効率性、表現性、物理的一貫性を向上する。 本稿では,効率,表現性,一般性という3つの次元を全て前進させるように設計された,$SE(3)$-equivariant graph attention Transformerの第3世代であるEquiformerV3を紹介する。 EquiformerV2上に構築されているのは、以下の3つの重要な進歩です。 まず、ソフトウェア実装を最適化し、$1.75\times$ Speedupを達成します。 第2に、EquiformerV2の簡易かつ効果的な改質を行い、等変結合層正規化、フィードフォワードネットワークハイパーパラメータの改善、スムーズな半径カットオフによる注意を含む。 第3に,SwiGLU-$S^2$アクティベーションを提案し,より理論的表現性を高めるために多体相互作用を組み込むことにより,S^2$グリッドのサンプリングの複雑さを低減し,厳密な同値性を維持する。 SwiGLU-$S^2$の活性化と滑らかなカットオフアテンションは、滑らかに変化するポテンシャルエネルギー表面(PES)の正確なモデリングを可能にし、EquiformerV3をPESのエネルギー保存シミュレーションと高次微分を必要とするタスクに一般化する。 これらの改良により、EquiformerV3は非平衡構造(DeNS)をデノナイズする補助的なタスクで訓練され、OC20、OMat24、Matbench Discoveryの最先端の結果が得られる。

関連論文リスト

• Efficient Hybrid SE(3)-Equivariant Visuomotor Flow Policy via Spherical Harmonics for Robot Manipulation [51.48086451600577]
  E3Flowは、同変拡散ポリシーの限界に対処する新しいフレームワークである。 安定な多モード同変学習による効率的な整流を初めて統一する。 E3Flowは、最先端の球拡散政策よりも平均的な成功率を3.12%向上させる。
  論文  参考訳（メタデータ） (2026-03-24T14:00:36Z)
• E2Former: An Efficient and Equivariant Transformer with Linear-Scaling Tensor Products [30.856584261032207]
  We introduced E2Former, an equivariant and efficient transformer architecture that with the Wigner 6,j$ convolution (Wigner 6,j$ Conv) 計算負荷をエッジからノードにシフトすることで、Wigner 6j$ Convは複雑さを$O(|mathcalE|)$から$O(| MathcalV|)$に縮める。 この開発は、スケーラブルで効率的な分子モデリングのための有望な方向を示唆する可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T15:22:58Z)
• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations [9.718771797861908]
  EquiformerV2は、大規模OC20データセットにおける従来の最先端の手法を最大9%の力で上回ります。 また、EquiformerV2とQM9上のEquiformerとOC20 S2EF-2Mデータセットを比較して、より高い学位によるパフォーマンス向上をよりよく理解する。
  論文  参考訳（メタデータ） (2023-06-21T07:01:38Z)
• Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs [3.0603554929274908]
  3D関連誘導バイアスは、分子のような3D原子性グラフで動作するグラフニューラルネットワークには不可欠である。 様々な領域におけるトランスフォーマーの成功に触発されて、これらのインダクティブバイアスをトランスフォーマーに組み込む方法について研究する。 本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案する。
  論文  参考訳（メタデータ） (2022-06-23T21:40:37Z)
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
  連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。 我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-06-18T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。