論文の概要: E2Former: A Linear-time Efficient and Equivariant Transformer for Scalable Molecular Modeling

• arxiv url: http://arxiv.org/abs/2501.19216v2
• Date: Mon, 03 Feb 2025 18:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 12:43:23.794677
• Title: E2Former: A Linear-time Efficient and Equivariant Transformer for Scalable Molecular Modeling
• Title（参考訳）: E2Former: スケーラブル分子モデリングのための線形時間効率・等価変圧器
• Authors: Yunyang Li, Lin Huang, Zhihao Ding, Chu Wang, Xinran Wei, Han Yang, Zun Wang, Chang Liu, Yu Shi, Peiran Jin, Jia Zhang, Mark Gerstein, Tao Qin,
• Abstract要約: We introduced E2Former, an equivariant and efficient transformer architecture that with the Wigner 6,j$ convolution (Wigner 6,j$ Conv) 計算負荷をエッジからノードにシフトすることで、Wigner 6j$ Convは複雑さを$O(|mathcalE|)$から$O(| MathcalV|)$に縮める。 この開発は、スケーラブルで効率的な分子モデリングのための有望な方向を示唆する可能性がある。
• 参考スコア（独自算出の注目度）: 44.75336958712181
• License:
• Abstract: Equivariant Graph Neural Networks (EGNNs) have demonstrated significant success in modeling microscale systems, including those in chemistry, biology and materials science. However, EGNNs face substantial computational challenges due to the high cost of constructing edge features via spherical tensor products, making them impractical for large-scale systems. To address this limitation, we introduce E2Former, an equivariant and efficient transformer architecture that incorporates the Wigner $6j$ convolution (Wigner $6j$ Conv). By shifting the computational burden from edges to nodes, the Wigner $6j$ Conv reduces the complexity from $O(|\mathcal{E}|)$ to $ O(| \mathcal{V}|)$ while preserving both the model's expressive power and rotational equivariance. We show that this approach achieves a 7x-30x speedup compared to conventional $\mathrm{SO}(3)$ convolutions. Furthermore, our empirical results demonstrate that the derived E2Former mitigates the computational challenges of existing approaches without compromising the ability to capture detailed geometric information. This development could suggest a promising direction for scalable and efficient molecular modeling.
• Abstract（参考訳）: Equivariant Graph Neural Networks (EGNN) は、化学、生物学、材料科学など、マイクロスケールシステムのモデリングにおいて大きな成功を収めている。 しかし、EGNNは、球面テンソル製品によるエッジ機能構築のコストが高く、大規模システムでは実用的ではないため、かなりの計算上の課題に直面している。 この制限に対処するために、Wigner 6j$畳み込み(Wigner 6,j$ Conv)を組み込んだ同変かつ効率的なトランスフォーマーアーキテクチャであるE2Formerを紹介する。 計算負荷をエッジからノードにシフトすることで、Wigner 6j$ Convは複雑さを$O(|\mathcal{E}|)$から$O(| \mathcal{V}|)$に縮める。 従来の$\mathrm{SO}(3)$畳み込みよりも7x-30xの高速化が可能であることを示す。 さらに, 得られたE2Formerは, 詳細な幾何学的情報を取得する能力を損なうことなく, 既存の手法の計算課題を緩和することを示した。 この開発は、スケーラブルで効率的な分子モデリングのための有望な方向を示唆する可能性がある。

関連論文リスト

• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials [3.6443770850509423]
  ソフトで多孔質なメカニカルメタマテリアルは、ソフトロボティクス、音の低減、バイオメディシンに重要な応用をもたらすパターン変換を示す。 我々は、代理モデルとして機能するために好意的にスケールする機械学習ベースのアプローチを開発する。 このネットワークは、対称性の少ないグラフニューラルネットワークよりも正確で、データ効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:30:32Z)
• Enabling Efficient Equivariant Operations in the Fourier Basis via Gaunt Tensor Products [14.984349569810275]
  そこで本研究では, テンソル積の複雑さを加速する体系的手法を提案する。 本稿では,効率的な同変演算を行うための新しい手法として機能するGaunt Productを紹介する。 Open Catalyst Projectと3BPAデータセットの実験では、効率の向上と性能向上の両面が示されている。
  論文  参考訳（メタデータ） (2024-01-18T18:57:10Z)
• Scalable Transformer for PDE Surrogate Modeling [9.438207505148947]
  Transformerは偏微分方程式(PDE)の代理モデリングのための有望なツールとして登場した。 本稿では, 軸因子化カーネル積分に基づくFactFormer(FactFormer)を提案する。 提案モデルでは,2Dコルモゴロフフローを256時間256ドルグリッドと3Dスモーク浮力で644時間64時間64ドルグリッドでシミュレートでき,精度と効率がよいことを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:23:00Z)
• FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
  データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。 本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2023-04-28T21:48:31Z)
• Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
  等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。 大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:16:13Z)
• Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
  近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。 両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。 また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
  論文  参考訳（メタデータ） (2022-11-29T03:42:11Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Efficient Generalized Spherical CNNs [7.819876182082904]
  既存の様々なアプローチを包含し,相互に活用できる汎用球面CNNフレームワークを提案する。 これらの開発により、球面ベンチマーク問題に対する最先端の精度とパラメータ効率を実現する、より表現力のあるハイブリッドモデルの構築が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-09T18:00:05Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。