論文の概要: One Transformer Can Understand Both 2D & 3D Molecular Data
- arxiv url: http://arxiv.org/abs/2210.01765v1
- Date: Tue, 4 Oct 2022 17:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:57:59.164366
- Title: One Transformer Can Understand Both 2D & 3D Molecular Data
- Title(参考訳): 1つのトランスフォーマーは2Dと3Dの分子データの両方を理解できる
- Authors: Shengjie Luo, Tianlang Chen, Yixian Xu, Shuxin Zheng, Tie-Yan Liu,
Liwei Wang, Di He
- Abstract要約: 我々はTransformer-Mと呼ばれる新しい分子モデルを開発した。
入力として2Dまたは3Dフォーマットの分子データを取り込み、意味のある意味表現を生成する。
実験の結果,Transformer-Mは2次元および3次元のタスクで高い性能を同時に達成できることがわかった。
- 参考スコア(独自算出の注目度): 94.93514673086631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unlike vision and language data which usually has a unique format, molecules
can naturally be characterized using different chemical formulations. One can
view a molecule as a 2D graph or define it as a collection of atoms located in
a 3D space. For molecular representation learning, most previous works designed
neural networks only for a particular data format, making the learned models
likely to fail for other data formats. We believe a general-purpose neural
network model for chemistry should be able to handle molecular tasks across
data modalities. To achieve this goal, in this work, we develop a novel
Transformer-based Molecular model called Transformer-M, which can take
molecular data of 2D or 3D formats as input and generate meaningful semantic
representations. Using the standard Transformer as the backbone architecture,
Transformer-M develops two separated channels to encode 2D and 3D structural
information and incorporate them with the atom features in the network modules.
When the input data is in a particular format, the corresponding channel will
be activated, and the other will be disabled. By training on 2D and 3D
molecular data with properly designed supervised signals, Transformer-M
automatically learns to leverage knowledge from different data modalities and
correctly capture the representations. We conducted extensive experiments for
Transformer-M. All empirical results show that Transformer-M can simultaneously
achieve strong performance on 2D and 3D tasks, suggesting its broad
applicability. The code and models will be made publicly available at
https://github.com/lsj2408/Transformer-M.
- Abstract(参考訳): 通常独自の形式を持つ視覚や言語データとは異なり、分子は異なる化学式を用いて自然に特徴付けられる。
分子を2次元グラフと見なすこともできるし、3次元空間にある原子の集まりと定義することもできる。
分子表現学習のために、ほとんどの先行研究はニューラルネットワークを特定のデータ形式のみのために設計しており、学習されたモデルは他のデータ形式では失敗する可能性が高い。
化学のための汎用ニューラルネットワークモデルは、データモダリティを越えて分子タスクを処理できるべきだと考えています。
そこで本研究では, 2次元および3次元の分子データを入力として, 意味的意味表現を生成するトランスフォーマ1分子モデルであるtransformer-mを開発した。
Transformer-M は標準的な Transformer をバックボーンアーキテクチャとして使用し、2D と 3D の構造情報をエンコードし、それらをネットワークモジュールの原子機能に組み込む2つの分離チャネルを開発した。
入力データが特定のフォーマットにある場合、対応するチャネルがアクティベートされ、もう一方が無効になる。
適切に設計された教師付き信号で2Dおよび3D分子データをトレーニングすることにより、Transformer-Mは、異なるデータモダリティからの知識を活用して、表現を正しくキャプチャする。
我々はtransformer-mの広範な実験を行った。
実験結果から,Transformer-Mは2次元および3次元のタスクに対して高い性能を同時に達成できることが示唆された。
コードとモデルはhttps://github.com/lsj2408/Transformer-Mで公開される。
関連論文リスト
- Geometry-aware Line Graph Transformer Pre-training for Molecular
Property Prediction [4.598522704308923]
Geometry-Aware line graph transformer (Galformer) は、新しい自己教師型学習フレームワークである。
Galformerは、分類タスクと回帰タスクの両方において、すべてのベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2023-09-01T14:20:48Z) - Meta-Transformer: A Unified Framework for Multimodal Learning [105.77219833997962]
マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。
この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。
我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-20T12:10:29Z) - MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。
拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。
我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
論文 参考訳(メタデータ) (2023-04-28T04:25:57Z) - Unified 2D and 3D Pre-Training of Molecular Representations [237.36667670201473]
統合された2次元および3次元事前学習に基づく新しい表現学習法を提案する。
原子座標と原子間距離は符号化され、グラフニューラルネットワークを介して原子表現と融合する。
提案手法は10タスクの最先端化を実現し、2Dのみのタスクの平均改善率は8.3%である。
論文 参考訳(メタデータ) (2022-07-14T11:36:56Z) - 3D Infomax improves GNNs for Molecular Property Prediction [1.9703625025720701]
本稿では,2次元分子グラフのみに与えられる分子の幾何学をモデル化するための事前学習モデルを提案する。
我々は,3次元事前学習が幅広い特性に対して大きな改善をもたらすことを示す。
論文 参考訳(メタデータ) (2021-10-08T13:30:49Z) - 3D-Transformer: Molecular Representation with Transformer in 3D Space [11.947499562836953]
3Dトランスフォーマー(3D-Transformer)は、3D空間情報を組み込んだ分子表現用トランスフォーマーの変種である。
本実験は, 結晶特性予測タスクとタンパク質-リガンド結合親和性予測タスクにおいて, 最先端モデルに対して有意な改善が認められた。
論文 参考訳(メタデータ) (2021-10-04T05:11:23Z) - Molecule3D: A Benchmark for Predicting 3D Geometries from Molecular
Graphs [79.06686274377009]
我々は、約400万分子の正確な基底状態のジオメトリーを持つデータセットを含むMolecule3Dと呼ばれるベンチマークを開発する。
我々は3次元空間における原子と原子の対距離を予測する2つのベースライン法を実装した。
本手法は予測精度に匹敵する精度を達成できるが,計算コストははるかに小さい。
論文 参考訳(メタデータ) (2021-09-30T22:09:28Z) - Dual-view Molecule Pre-training [186.07333992384287]
デュアルビュー分子事前学習は、両方のタイプの分子表現の強さを効果的に組み合わせることができる。
DMPは9つの分子特性予測タスクでテストされ、そのうち7つで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-06-17T03:58:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。