論文の概要: Self-Supervised Graph Transformer on Large-Scale Molecular Data

• arxiv url: http://arxiv.org/abs/2007.02835v2
• Date: Thu, 29 Oct 2020 03:46:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 14:36:51.693244
• Title: Self-Supervised Graph Transformer on Large-Scale Molecular Data
• Title（参考訳）: 大規模分子データを用いた自己監督グラフ変換器
• Authors: Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, Junzhou Huang
• Abstract要約: 分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
• 参考スコア（独自算出の注目度）: 73.3448373618865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to obtain informative representations of molecules is a crucial prerequisite in AI-driven drug design and discovery. Recent researches abstract molecules as graphs and employ Graph Neural Networks (GNNs) for molecular representation learning. Nevertheless, two issues impede the usage of GNNs in real scenarios: (1) insufficient labeled molecules for supervised training; (2) poor generalization capability to new-synthesized molecules. To address them both, we propose a novel framework, GROVER, which stands for Graph Representation frOm self-superVised mEssage passing tRansformer. With carefully designed self-supervised tasks in node-, edge- and graph-level, GROVER can learn rich structural and semantic information of molecules from enormous unlabelled molecular data. Rather, to encode such complex information, GROVER integrates Message Passing Networks into the Transformer-style architecture to deliver a class of more expressive encoders of molecules. The flexibility of GROVER allows it to be trained efficiently on large-scale molecular dataset without requiring any supervision, thus being immunized to the two issues mentioned above. We pre-train GROVER with 100 million parameters on 10 million unlabelled molecules -- the biggest GNN and the largest training dataset in molecular representation learning. We then leverage the pre-trained GROVER for molecular property prediction followed by task-specific fine-tuning, where we observe a huge improvement (more than 6% on average) from current state-of-the-art methods on 11 challenging benchmarks. The insights we gained are that well-designed self-supervision losses and largely-expressive pre-trained models enjoy the significant potential on performance boosting.
• Abstract（参考訳）: 分子の情報表現の獲得は、AIによる薬物の設計と発見において重要な前提条件である。 近年、抽象分子をグラフとして研究し、分子表現学習にグラフニューラルネットワーク(gnns)を採用している。 しかしながら, 実シナリオにおけるGNNの使用には, 1) 教師付きトレーニングのためのラベル付き分子の不足, (2) 新合成分子への一般化能力の低下, の2つの問題がある。 両者に対処するため,グラフ表現の「自己超越mEssage passing tRansformer」を表す新しいフレームワーク「GROVER」を提案する。 ノード、エッジ、グラフレベルで注意深く設計された自己教師ありタスクにより、groverは巨大なラベルなしの分子データから分子の構造的および意味的な情報を学ぶことができる。 このような複雑な情報をエンコードするために、groverはメッセージパッシングネットワークをtransformerスタイルのアーキテクチャに統合し、より表現力に富んだ分子エンコーダのクラスを提供する。 GROVERの柔軟性により、監督を必要とせず、大規模な分子データセット上で効率的にトレーニングできるため、上記の2つの問題に免疫が与えられる。 最大のgnnであり、分子表現学習で最大のトレーニングデータセットである1000万個の未標識分子で1億のパラメータを持つgroverを事前トレーニングします。 次に,事前学習したグローバーを分子特性予測に活用し,タスク特異的な微調整を行い,11の難解なベンチマークにおいて,現在の手法からの大幅な改善(平均6%以上)を観測した。 私たちが得た洞察は、よく設計された自己超越的損失と、主に表現力のある事前学習モデルが、パフォーマンス向上の大きな可能性を享受しているということです。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [55.42602325017405]
  本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。 異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。 11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
  論文  参考訳（メタデータ） (2023-06-02T15:49:45Z)
• GraphGANFed: A Federated Generative Framework for Graph-Structured Molecules Towards Efficient Drug Discovery [2.309914459672556]
  本稿では,ローカルデータセットを共有せずに新しい分子を生成するために,GraphGANFed(Federated Learning)フレームワークを用いたジェネレーティブ・アドバイサル・ネットワークにおけるグラフ畳み込みネットワークを提案する。 GraphGANFedによって生成される分子は、高い新規性(=100)と多様性(>0.9)を達成することができる
  論文  参考訳（メタデータ） (2023-04-11T21:15:28Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• BatmanNet: Bi-branch Masked Graph Transformer Autoencoder for Molecular Representation [21.03650456372902]
  分子表現を学習するバイブランチマスク付きグラフトランスフォーマーオートエンコーダ(BatmanNet)を提案する。 BatmanNetは2つの補完グラフと非対称グラフオートエンコーダを備えており、欠落したノードとエッジを再構築する。 分子特性予測、薬物と薬物の相互作用、薬物と標的の相互作用など、複数の薬物発見タスクの最先端の結果を達成している。
  論文  参考訳（メタデータ） (2022-11-25T09:44:28Z)
• Chemical-Reaction-Aware Molecule Representation Learning [88.79052749877334]
  本稿では,化学反応を用いて分子表現の学習を支援することを提案する。 本手法は,1) 埋め込み空間を適切に整理し, 2) 分子埋め込みの一般化能力を向上させるために有効であることが証明された。 実験結果から,本手法は様々なダウンストリームタスクにおける最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-09-21T00:08:43Z)
• Learning Attributed Graph Representations with Communicative Message Passing Transformer [3.812358821429274]
  分子グラフ表現を改善するために,コミュニケーティブメッセージパッシングトランス (CoMPT) ニューラルネットワークを提案する。 分子を完全連結グラフとして扱う従来のトランスフォーマースタイルのGNNとは異なり、グラフ接続帰納バイアスを利用するメッセージ拡散機構を導入する。
  論文  参考訳（メタデータ） (2021-07-19T11:58:32Z)
• Learn molecular representations from large-scale unlabeled molecules for drug discovery [19.222413268610808]
  分子プレトレーニンググラフベースのディープラーニングフレームワークmpgは、大規模なラベルなし分子から分子表現を頼りにする。 molgnetは、解釈可能な表現を生み出すために貴重な化学的洞察を捉えることができる。 MPGは、薬物発見パイプラインにおける新しいアプローチになることを約束している。
  論文  参考訳（メタデータ） (2020-12-21T08:21:49Z)
• ASGN: An Active Semi-supervised Graph Neural Network for Molecular Property Prediction [61.33144688400446]
  本稿では,ラベル付き分子とラベルなし分子の両方を組み込んだ,アクティブ半教師付きグラフニューラルネットワーク(ASGN)を提案する。 教師モデルでは,分子構造や分子分布から情報を共同で活用する汎用表現を学習するための,新しい半教師付き学習手法を提案する。 最後に,分子多様性の観点から,フレームワーク学習全体を通して情報的データを選択するための新しい能動的学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。