論文の概要: One Transformer Can Understand Both 2D & 3D Molecular Data

• arxiv url: http://arxiv.org/abs/2210.01765v1
• Date: Tue, 4 Oct 2022 17:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 13:57:59.164366
• Title: One Transformer Can Understand Both 2D & 3D Molecular Data
• Title（参考訳）: 1つのトランスフォーマーは2Dと3Dの分子データの両方を理解できる
• Authors: Shengjie Luo, Tianlang Chen, Yixian Xu, Shuxin Zheng, Tie-Yan Liu, Liwei Wang, Di He
• Abstract要約: 我々はTransformer-Mと呼ばれる新しい分子モデルを開発した。 入力として2Dまたは3Dフォーマットの分子データを取り込み、意味のある意味表現を生成する。 実験の結果,Transformer-Mは2次元および3次元のタスクで高い性能を同時に達成できることがわかった。
• 参考スコア（独自算出の注目度）: 94.93514673086631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike vision and language data which usually has a unique format, molecules can naturally be characterized using different chemical formulations. One can view a molecule as a 2D graph or define it as a collection of atoms located in a 3D space. For molecular representation learning, most previous works designed neural networks only for a particular data format, making the learned models likely to fail for other data formats. We believe a general-purpose neural network model for chemistry should be able to handle molecular tasks across data modalities. To achieve this goal, in this work, we develop a novel Transformer-based Molecular model called Transformer-M, which can take molecular data of 2D or 3D formats as input and generate meaningful semantic representations. Using the standard Transformer as the backbone architecture, Transformer-M develops two separated channels to encode 2D and 3D structural information and incorporate them with the atom features in the network modules. When the input data is in a particular format, the corresponding channel will be activated, and the other will be disabled. By training on 2D and 3D molecular data with properly designed supervised signals, Transformer-M automatically learns to leverage knowledge from different data modalities and correctly capture the representations. We conducted extensive experiments for Transformer-M. All empirical results show that Transformer-M can simultaneously achieve strong performance on 2D and 3D tasks, suggesting its broad applicability. The code and models will be made publicly available at https://github.com/lsj2408/Transformer-M.
• Abstract（参考訳）: 通常独自の形式を持つ視覚や言語データとは異なり、分子は異なる化学式を用いて自然に特徴付けられる。 分子を2次元グラフと見なすこともできるし、3次元空間にある原子の集まりと定義することもできる。 分子表現学習のために、ほとんどの先行研究はニューラルネットワークを特定のデータ形式のみのために設計しており、学習されたモデルは他のデータ形式では失敗する可能性が高い。 化学のための汎用ニューラルネットワークモデルは、データモダリティを越えて分子タスクを処理できるべきだと考えています。 そこで本研究では, 2次元および3次元の分子データを入力として, 意味的意味表現を生成するトランスフォーマ1分子モデルであるtransformer-mを開発した。 Transformer-M は標準的な Transformer をバックボーンアーキテクチャとして使用し、2D と 3D の構造情報をエンコードし、それらをネットワークモジュールの原子機能に組み込む2つの分離チャネルを開発した。 入力データが特定のフォーマットにある場合、対応するチャネルがアクティベートされ、もう一方が無効になる。 適切に設計された教師付き信号で2Dおよび3D分子データをトレーニングすることにより、Transformer-Mは、異なるデータモダリティからの知識を活用して、表現を正しくキャプチャする。 我々はtransformer-mの広範な実験を行った。 実験結果から,Transformer-Mは2次元および3次元のタスクに対して高い性能を同時に達成できることが示唆された。 コードとモデルはhttps://github.com/lsj2408/Transformer-Mで公開される。

関連論文リスト

• MolMix: A Simple Yet Effective Baseline for Multimodal Molecular Representation Learning [17.93173928602627]
  本稿では,マルチモーダル分子表現学習のためのトランスフォーマーベースラインを提案する。 我々は,SMILES文字列,2次元グラフ表現,分子の3次元コンフォメータの3つの異なるモダリティを統合する。 その単純さにもかかわらず、我々の手法は複数のデータセットにまたがって最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-10T14:36:58Z)
• 3D-VirtFusion: Synthetic 3D Data Augmentation through Generative Diffusion Models and Controllable Editing [52.68314936128752]
  本研究では,事前学習された大規模基盤モデルのパワーを活用して,3次元ラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 各ターゲットセマンティッククラスに対して、まず、拡散モデルとチャットGPT生成したテキストプロンプトを介して、様々な構造と外観の1つのオブジェクトの2D画像を生成する。 我々は、これらの拡張画像を3Dオブジェクトに変換し、ランダムな合成によって仮想シーンを構築する。
  論文  参考訳（メタデータ） (2024-08-25T09:31:22Z)
• Multi-Type Point Cloud Autoencoder: A Complete Equivariant Embedding for Molecule Conformation and Pose [0.8886153850492464]
  我々は,マルチタイプの点群に対する新しいタイプのオートエンコーダである分子O(3)エンコーディングネット(Mo3ENet)を開発し,訓練し,評価する。 Mo3ENetはエンドツーエンドの同変であり、学習した表現をO(3)で操作することができる。
  論文  参考訳（メタデータ） (2024-05-22T16:14:37Z)
• Meta-Transformer: A Unified Framework for Multimodal Learning [105.77219833997962]
  マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。 この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。 我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:10:29Z)
• MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
  本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。 拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。 我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2023-04-28T04:25:57Z)
• Unified 2D and 3D Pre-Training of Molecular Representations [237.36667670201473]
  統合された2次元および3次元事前学習に基づく新しい表現学習法を提案する。 原子座標と原子間距離は符号化され、グラフニューラルネットワークを介して原子表現と融合する。 提案手法は10タスクの最先端化を実現し、2Dのみのタスクの平均改善率は8.3%である。
  論文  参考訳（メタデータ） (2022-07-14T11:36:56Z)
• 3D-Transformer: Molecular Representation with Transformer in 3D Space [11.947499562836953]
  3Dトランスフォーマー(3D-Transformer)は、3D空間情報を組み込んだ分子表現用トランスフォーマーの変種である。 本実験は, 結晶特性予測タスクとタンパク質-リガンド結合親和性予測タスクにおいて, 最先端モデルに対して有意な改善が認められた。
  論文  参考訳（メタデータ） (2021-10-04T05:11:23Z)
• Dual-view Molecule Pre-training [186.07333992384287]
  デュアルビュー分子事前学習は、両方のタイプの分子表現の強さを効果的に組み合わせることができる。 DMPは9つの分子特性予測タスクでテストされ、そのうち7つで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-17T03:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。