論文の概要: E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory

• arxiv url: http://arxiv.org/abs/2601.16622v1
• Date: Fri, 23 Jan 2026 10:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.63212
• Title: E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory
• Title（参考訳）: E2Former-V2:線形アクティベーションメモリによるオンザフライ同変アテンション
• Authors: Lin Huang, Chengxiang Huang, Ziang Wang, Yiyue Du, Chu Wang, Haocheng Lu, Yunyang Li, Xiaoli Liu, Arthur Jiang, Jia Zhang,
• Abstract要約: Equivariant Graph Neural Networks (EGNN) は3次元原子論システムのモデリングに広く利用されている。 textbfE2Former-V2は,代数的空間性とハードウェア対応の実行を統合するスケーラブルなアーキテクチャである。 E2Former-V2は、推論を加速しながら、同等の予測性能を維持している。
• 参考スコア（独自算出の注目度）: 13.451231889715542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant Graph Neural Networks (EGNNs) have become a widely used approach for modeling 3D atomistic systems. However, mainstream architectures face critical scalability bottlenecks due to the explicit construction of geometric features or dense tensor products on \textit{every} edge. To overcome this, we introduce \textbf{E2Former-V2}, a scalable architecture that integrates algebraic sparsity with hardware-aware execution. We first propose \textbf{E}quivariant \textbf{A}xis-\textbf{A}ligned \textbf{S}parsification (EAAS). EAAS builds on Wigner-$6j$ convolution by exploiting an $\mathrm{SO}(3) \rightarrow \mathrm{SO}(2)$ change of basis to transform computationally expensive dense tensor contractions into efficient, sparse parity re-indexing operations. Building on this representation, we introduce \textbf{On-the-Fly Equivariant Attention}, a fully node-centric mechanism implemented via a custom fused Triton kernel. By eliminating materialized edge tensors and maximizing SRAM utilization, our kernel achieves a \textbf{20$\times$ improvement in TFLOPS} compared to standard implementations. Extensive experiments on the SPICE and OMol25 datasets demonstrate that E2Former-V2 maintains comparable predictive performance while notably accelerating inference. This work demonstrates that large equivariant transformers can be trained efficiently using widely accessible GPU platforms. The code is avalible at https://github.com/IQuestLab/UBio-MolFM/tree/e2formerv2.
• Abstract（参考訳）: Equivariant Graph Neural Networks (EGNN) は3次元原子論システムのモデリングに広く利用されている。 しかし、主流アーキテクチャは、幾何的特徴や高密度テンソル積が \textit{every} エッジ上に明確に構築されているため、重要なスケーラビリティのボトルネックに直面している。 これを解決するために,代数的疎結合とハードウェア対応実行を統合するスケーラブルアーキテクチャである \textbf{E2Former-V2} を導入する。 まず、まず、textbf{E}quivariant \textbf{A}xis-\textbf{A}ligned \textbf{S}parsification (EAAS)を提案する。 EAAS は Wigner-$6j$ の畳み込みを$\mathrm{SO}(3) \rightarrow \mathrm{SO}(2)$ の基底変更を利用して構築する。 この表現に基づいて、カスタムの融合トリトンカーネルによって実装された完全にノード中心のメカニズムである「textbf{On-the-Fly Equivariant Attention}」を導入する。 実効化されたエッジテンソルを排除し、SRAMの利用を最大化することにより、カーネルは標準実装と比較して、 TFLOPS の \textbf{20$\times$ Improvement を達成する。 SPICEとOMol25データセットに関する大規模な実験は、E2Former-V2が推論を加速しながら、同等の予測性能を維持していることを示している。 この研究は、広くアクセス可能なGPUプラットフォームを使用して、大きな同変トランスフォーマーを効率的に訓練できることを実証している。 コードはhttps://github.com/IQuestLab/UBio-MolFM/tree/e2formerv2で公開されている。

関連論文リスト

• OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
  textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。 OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2025-10-21T03:24:12Z)
• Efficient Prediction of SO(3)-Equivariant Hamiltonian Matrices via SO(2) Local Frames [49.1851978742043]
  我々は、電子構造計算を高速化するためにハミルトン行列を予測することを考える。 ハミルトン行列の対角線外ブロックとSO(2)局所フレームの関係から、QHNetV2を提案する。
  論文  参考訳（メタデータ） (2025-06-11T05:04:29Z)
• E2Former: An Efficient and Equivariant Transformer with Linear-Scaling Tensor Products [30.856584261032207]
  We introduced E2Former, an equivariant and efficient transformer architecture that with the Wigner 6,j$ convolution (Wigner 6,j$ Conv) 計算負荷をエッジからノードにシフトすることで、Wigner 6j$ Convは複雑さを$O(|mathcalE|)$から$O(| MathcalV|)$に縮める。 この開発は、スケーラブルで効率的な分子モデリングのための有望な方向を示唆する可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T15:22:58Z)
• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。