論文の概要: GeoMFormer: A General Architecture for Geometric Molecular Representation Learning

• arxiv url: http://arxiv.org/abs/2406.16853v1
• Date: Mon, 24 Jun 2024 17:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:36:22.113272
• Title: GeoMFormer: A General Architecture for Geometric Molecular Representation Learning
• Title（参考訳）: GeoMFormer: 幾何学的分子表現学習のための汎用アーキテクチャ
• Authors: Tianlang Chen, Shengjie Luo, Di He, Shuxin Zheng, Tie-Yan Liu, Liwei Wang,
• Abstract要約: 我々はこの目的を達成するためにGeoMFormerと呼ばれるトランスフォーマーに基づく新しい分子モデルを導入する。 我々は,GeoMFormerが,異なる型やスケールの不変タスクと同変タスクの両方において,高い性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 84.02083170392764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Molecular modeling, a central topic in quantum mechanics, aims to accurately calculate the properties and simulate the behaviors of molecular systems. The molecular model is governed by physical laws, which impose geometric constraints such as invariance and equivariance to coordinate rotation and translation. While numerous deep learning approaches have been developed to learn molecular representations under these constraints, most of them are built upon heuristic and costly modules. We argue that there is a strong need for a general and flexible framework for learning both invariant and equivariant features. In this work, we introduce a novel Transformer-based molecular model called GeoMFormer to achieve this goal. Using the standard Transformer modules, two separate streams are developed to maintain and learn invariant and equivariant representations. Carefully designed cross-attention modules bridge the two streams, allowing information fusion and enhancing geometric modeling in each stream. As a general and flexible architecture, we show that many previous architectures can be viewed as special instantiations of GeoMFormer. Extensive experiments are conducted to demonstrate the power of GeoMFormer. All empirical results show that GeoMFormer achieves strong performance on both invariant and equivariant tasks of different types and scales. Code and models will be made publicly available at https://github.com/c-tl/GeoMFormer.
• Abstract（参考訳）: 量子力学における中心的なトピックである分子モデリングは、特性を正確に計算し、分子系の挙動をシミュレートすることを目的としている。 分子モデルは物理法則によって制御され、回転と変換の座標に不変や等式などの幾何学的制約を課す。 これらの制約の下で分子表現を学習するために多くのディープラーニングアプローチが開発されているが、そのほとんどはヒューリスティックで高価なモジュールの上に構築されている。 我々は、不変性と同変性の両方を学ぶための、汎用的で柔軟なフレームワークが強く必要であると主張する。 本研究では,この目的を達成するためにGeoMFormerと呼ばれるトランスフォーマーに基づく新しい分子モデルを提案する。 標準のTransformerモジュールを使うことで、不変および同変表現の維持と学習のために2つの別々のストリームが開発される。 慎重に設計されたクロスアテンションモジュールは2つのストリームをブリッジし、情報融合と各ストリームにおける幾何学的モデリングの強化を可能にする。 汎用的でフレキシブルなアーキテクチャとして,GeoMFormerの特別なインスタンス化として,従来のアーキテクチャの多くを見ることができることを示す。 大規模実験によりGeoMFormerのパワーを実証した。 すべての実験結果から、GeoMFormerは、異なるタイプとスケールの不変タスクと同変タスクの両方において、強い性能を達成していることがわかる。 コードとモデルはhttps://github.com/c-tl/GeoMFormer.comで公開される。

関連論文リスト

• Geometry Informed Tokenization of Molecules for Language Model Generation [85.80491667588923]
  言語モデル(LM)を用いた三次元空間における分子生成の検討 分子グラフのトークン化は存在するが、3次元幾何学では、ほとんど探索されていない。 分子幾何学を$SE(3)$-invariant 1D離散配列に変換するGeo2Seqを提案する。
  論文  参考訳（メタデータ） (2024-08-19T16:09:59Z)
• Learning Modulated Transformation in GANs [69.95217723100413]
  生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。 挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-29T17:51:22Z)
• FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
  データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。 本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2023-04-28T21:48:31Z)
• Multiresolution Graph Transformers and Wavelet Positional Encoding for Learning Hierarchical Structures [6.875312133832078]
  複数のスケールで大きな分子を表現できる最初のグラフトランスアーキテクチャであるMulti resolution Graph Transformer (MGT)を提案する。 MGTは原子の表現を学習し、それらを有意義な官能基または繰り返し単位に分類することができる。 提案モデルでは, 高分子とペプチドからなるマクロ分子データセットと, 薬物様分子データセットの2つの結果を得た。
  論文  参考訳（メタデータ） (2023-02-17T01:32:44Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• GeoMol: Torsional Geometric Generation of Molecular 3D Conformer Ensembles [60.12186997181117]
  分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。 既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。 エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
  論文  参考訳（メタデータ） (2021-06-08T14:17:59Z)
• Molecular CT: Unifying Geometry and Representation Learning for Molecules at Different Scales [3.987395340580183]
  この目的のために、新しいディープニューラルネットワークアーキテクチャである分子構成変換器(分子CT)が導入された。 計算効率と普遍性は、様々な分子学習シナリオに分子CTを多用する。 例として、分子CTは分子系の異なるスケールでの表現学習を可能にし、共通ベンチマークで同等または改善された結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-22T03:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。