論文の概要: 3D-Transformer: Molecular Representation with Transformer in 3D Space

• arxiv url: http://arxiv.org/abs/2110.01191v1
• Date: Mon, 4 Oct 2021 05:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:04:59.763848
• Title: 3D-Transformer: Molecular Representation with Transformer in 3D Space
• Title（参考訳）: 3d-transformer:3d空間におけるトランスフォーマによる分子表現
• Authors: Fang Wu, Qiang Zhang, Dragomir Radev, Jiyu Cui, Wen Zhang, Huabin Xing, Ningyu Zhang, Huajun Chen
• Abstract要約: 3Dトランスフォーマー(3D-Transformer)は、3D空間情報を組み込んだ分子表現用トランスフォーマーの変種である。 本実験は, 結晶特性予測タスクとタンパク質-リガンド結合親和性予測タスクにおいて, 最先端モデルに対して有意な改善が認められた。
• 参考スコア（独自算出の注目度）: 11.947499562836953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial structures in the 3D space are important to determine molecular properties. Recent papers use geometric deep learning to represent molecules and predict properties. These papers, however, are computationally expensive in capturing long-range dependencies of input atoms; and have not considered the non-uniformity of interatomic distances, thus failing to learn context-dependent representations at different scales. To deal with such issues, we introduce 3D-Transformer, a variant of the Transformer for molecular representations that incorporates 3D spatial information. 3D-Transformer operates on a fully-connected graph with direct connections between atoms. To cope with the non-uniformity of interatomic distances, we develop a multi-scale self-attention module that exploits local fine-grained patterns with increasing contextual scales. As molecules of different sizes rely on different kinds of spatial features, we design an adaptive position encoding module that adopts different position encoding methods for small and large molecules. Finally, to attain the molecular representation from atom embeddings, we propose an attentive farthest point sampling algorithm that selects a portion of atoms with the assistance of attention scores, overcoming handicaps of the virtual node and previous distance-dominant downsampling methods. We validate 3D-Transformer across three important scientific domains: quantum chemistry, material science, and proteomics. Our experiments show significant improvements over state-of-the-art models on the crystal property prediction task and the protein-ligand binding affinity prediction task, and show better or competitive performance in quantum chemistry molecular datasets. This work provides clear evidence that biochemical tasks can gain consistent benefits from 3D molecular representations and different tasks require different position encoding methods.
• Abstract（参考訳）: 3次元空間の空間構造は分子特性を決定するのに重要である。 近年の研究では、幾何学的深層学習を用いて分子を表現し、特性を予測する。 しかしながら、これらの論文は入力原子の長距離依存を捉えるのに計算コストが高く、原子間距離の非均一性は考慮されておらず、異なるスケールで文脈依存表現を学習できない。 このような問題に対処するため、3d空間情報を組み込んだ分子表現用トランスフォーマーの変種である3d-transformerを導入する。 3D-Transformerは原子間の直接接続を持つ完全連結グラフで動作する。 原子間距離の不均一性に対処するため,局所的な微細なパターンを利用したマルチスケール自己認識モジュールを開発した。 異なる大きさの分子が異なる空間的特徴に依存するため、小分子と大分子の異なる位置符号化方式を採用する適応的位置符号化モジュールを設計する。 最後に、原子の埋め込みから分子表現を得るため、注意スコア、仮想ノードのハンディキャップとそれ以前の距離支配的なダウンサンプリング法を克服し、原子の一部を選択できる注意深い遠点サンプリングアルゴリズムを提案する。 量子化学、物質科学、プロテオミクスという3つの重要な科学領域で3dトランスフォーマーを検証する。 本実験は, 結晶特性予測タスクおよびタンパク質-リガンド結合親和性予測タスクにおける最先端モデルに対する顕著な改善を示し, 量子化学分子データセットにおける優れた性能, 競合性能を示す。 この研究は、生化学的タスクが3次元分子表現から一貫した利益を得ることができるという明確な証拠を提供する。

関連論文リスト

• 3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information [1.1777304970289215]
  3D-Molはより正確な空間構造表現のために設計された新しいアプローチである。 分子を3つの階層グラフに分解し、幾何学的情報をよりよく抽出する。 3D-Molと最先端のベースラインを7つのベンチマークで比較し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-28T10:05:37Z)
• MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
  本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。 拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。 我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2023-04-28T04:25:57Z)
• Geometry-Complete Diffusion for 3D Molecule Generation and Optimization [3.8366697175402225]
  3次元分子生成のための幾何-完全拡散モデル(GCDM)を導入する。 GCDMは、既存の3次元分子拡散モデルよりも条件および非条件設定間で大きなマージンで優れている。 また、GCDMの幾何学的特徴は、既存の3次元分子の幾何学的および化学組成を一貫して最適化するために再利用可能であることも示している。
  論文  参考訳（メタデータ） (2023-02-08T20:01:51Z)
• Molecular Geometry-aware Transformer for accurate 3D Atomic System modeling [51.83761266429285]
  本稿では,ノード(原子)とエッジ(結合と非結合の原子対)を入力とし,それらの相互作用をモデル化するトランスフォーマーアーキテクチャを提案する。 MoleformerはOC20の緩和エネルギー予測の初期状態の最先端を実現し、QM9では量子化学特性の予測に非常に競争力がある。
  論文  参考訳（メタデータ） (2023-02-02T03:49:57Z)
• One Transformer Can Understand Both 2D & 3D Molecular Data [94.93514673086631]
  我々はTransformer-Mと呼ばれる新しい分子モデルを開発した。 入力として2Dまたは3Dフォーマットの分子データを取り込み、意味のある意味表現を生成する。 実験の結果,Transformer-Mは2次元および3次元のタスクで高い性能を同時に達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T17:30:31Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• 3D Infomax improves GNNs for Molecular Property Prediction [1.9703625025720701]
  本稿では,2次元分子グラフのみに与えられる分子の幾何学をモデル化するための事前学習モデルを提案する。 我々は,3次元事前学習が幅広い特性に対して大きな改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:30:49Z)
• Molecule3D: A Benchmark for Predicting 3D Geometries from Molecular Graphs [79.06686274377009]
  我々は、約400万分子の正確な基底状態のジオメトリーを持つデータセットを含むMolecule3Dと呼ばれるベンチマークを開発する。 我々は3次元空間における原子と原子の対距離を予測する2つのベースライン法を実装した。 本手法は予測精度に匹敵する精度を達成できるが,計算コストははるかに小さい。
  論文  参考訳（メタデータ） (2021-09-30T22:09:28Z)
• ATOM3D: Tasks On Molecules in Three Dimensions [91.72138447636769]
  近年、深層ニューラルネットワークが注目されている。 本稿では,生物分子のいくつかの重要なクラスにまたがる新しいデータセットと既存のデータセットのコレクションであるATOM3Dを紹介する。 これらのタスクごとに3次元の分子学習ネットワークを開発し、パフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2020-12-07T20:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。