論文の概要: E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory

• arxiv url: http://arxiv.org/abs/2601.16622v1
• Date: Fri, 23 Jan 2026 10:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.63212
• Title: E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory
• Title（参考訳）: E2Former-V2:線形アクティベーションメモリによるオンザフライ同変アテンション
• Authors: Lin Huang, Chengxiang Huang, Ziang Wang, Yiyue Du, Chu Wang, Haocheng Lu, Yunyang Li, Xiaoli Liu, Arthur Jiang, Jia Zhang,
• Abstract要約: Equivariant Graph Neural Networks (EGNN) は3次元原子論システムのモデリングに広く利用されている。 textbfE2Former-V2は,代数的空間性とハードウェア対応の実行を統合するスケーラブルなアーキテクチャである。 E2Former-V2は、推論を加速しながら、同等の予測性能を維持している。
• 参考スコア（独自算出の注目度）: 13.451231889715542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant Graph Neural Networks (EGNNs) have become a widely used approach for modeling 3D atomistic systems. However, mainstream architectures face critical scalability bottlenecks due to the explicit construction of geometric features or dense tensor products on \textit{every} edge. To overcome this, we introduce \textbf{E2Former-V2}, a scalable architecture that integrates algebraic sparsity with hardware-aware execution. We first propose \textbf{E}quivariant \textbf{A}xis-\textbf{A}ligned \textbf{S}parsification (EAAS). EAAS builds on Wigner-$6j$ convolution by exploiting an $\mathrm{SO}(3) \rightarrow \mathrm{SO}(2)$ change of basis to transform computationally expensive dense tensor contractions into efficient, sparse parity re-indexing operations. Building on this representation, we introduce \textbf{On-the-Fly Equivariant Attention}, a fully node-centric mechanism implemented via a custom fused Triton kernel. By eliminating materialized edge tensors and maximizing SRAM utilization, our kernel achieves a \textbf{20$\times$ improvement in TFLOPS} compared to standard implementations. Extensive experiments on the SPICE and OMol25 datasets demonstrate that E2Former-V2 maintains comparable predictive performance while notably accelerating inference. This work demonstrates that large equivariant transformers can be trained efficiently using widely accessible GPU platforms. The code is avalible at https://github.com/IQuestLab/UBio-MolFM/tree/e2formerv2.
• Abstract（参考訳）: Equivariant Graph Neural Networks (EGNN) は3次元原子論システムのモデリングに広く利用されている。 しかし、主流アーキテクチャは、幾何的特徴や高密度テンソル積が \textit{every} エッジ上に明確に構築されているため、重要なスケーラビリティのボトルネックに直面している。 これを解決するために,代数的疎結合とハードウェア対応実行を統合するスケーラブルアーキテクチャである \textbf{E2Former-V2} を導入する。 まず、まず、textbf{E}quivariant \textbf{A}xis-\textbf{A}ligned \textbf{S}parsification (EAAS)を提案する。 EAAS は Wigner-$6j$ の畳み込みを$\mathrm{SO}(3) \rightarrow \mathrm{SO}(2)$ の基底変更を利用して構築する。 この表現に基づいて、カスタムの融合トリトンカーネルによって実装された完全にノード中心のメカニズムである「textbf{On-the-Fly Equivariant Attention}」を導入する。 実効化されたエッジテンソルを排除し、SRAMの利用を最大化することにより、カーネルは標準実装と比較して、 TFLOPS の \textbf{20$\times$ Improvement を達成する。 SPICEとOMol25データセットに関する大規模な実験は、E2Former-V2が推論を加速しながら、同等の予測性能を維持していることを示している。 この研究は、広くアクセス可能なGPUプラットフォームを使用して、大きな同変トランスフォーマーを効率的に訓練できることを実証している。 コードはhttps://github.com/IQuestLab/UBio-MolFM/tree/e2formerv2で公開されている。

関連論文リスト

• VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention [61.96837866507746]
  VecFormerはノード分類のための効率的かつ高一般化可能なモデルである。 VecFormerは、パフォーマンスとスピードの両方で、既存のGraph Transformerを上回っている。
  論文  参考訳（メタデータ） (2026-02-23T09:10:39Z)
• OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
  textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。 OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2025-10-21T03:24:12Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Efficient Prediction of SO(3)-Equivariant Hamiltonian Matrices via SO(2) Local Frames [49.1851978742043]
  我々は、電子構造計算を高速化するためにハミルトン行列を予測することを考える。 ハミルトン行列の対角線外ブロックとSO(2)局所フレームの関係から、QHNetV2を提案する。
  論文  参考訳（メタデータ） (2025-06-11T05:04:29Z)
• E2Former: An Efficient and Equivariant Transformer with Linear-Scaling Tensor Products [30.856584261032207]
  We introduced E2Former, an equivariant and efficient transformer architecture that with the Wigner 6,j$ convolution (Wigner 6,j$ Conv) 計算負荷をエッジからノードにシフトすることで、Wigner 6j$ Convは複雑さを$O(|mathcalE|)$から$O(| MathcalV|)$に縮める。 この開発は、スケーラブルで効率的な分子モデリングのための有望な方向を示唆する可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T15:22:58Z)
• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Rethinking SO(3)-equivariance with Bilinear Tensor Networks [0.0]
  我々は、偏差対称性の破れにより、SO$(2)$のベクトルおよび順序2テンソル表現のみに作用するネットワークの表現性を向上させることができることを示す。 本稿では, b-中間子崩壊から生じる粒子ジェットを, 圧倒的なQCD背景から識別しなくてはならない, テクスタイブタグと呼ばれる高エネルギー物理の重要な問題に対して, 本手法を実証する。
  論文  参考訳（メタデータ） (2023-03-20T17:23:15Z)
• Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
  等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。 大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:16:13Z)
• 2D+3D facial expression recognition via embedded tensor manifold regularization [16.98176664818354]
  2D+3次元表情認識(FERETMR)のための埋め込みテンソル多様体正規化による新しい手法を提案する。 定常点の観点から一階最適条件を確立し、収束解析によるブロック座標降下(BCD)アルゴリズムを設計する。 BU-3DFEデータベースとBosphorusデータベースの数値計算結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-29T06:11:00Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。