論文の概要: KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2206.03364v1
• Date: Thu, 2 Jun 2022 08:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-12 09:40:38.739792
• Title: KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular Property Prediction
• Title（参考訳）: KPGT:分子特性予測のための知識誘導型グラフトランスの事前学習
• Authors: Han Li, Dan Zhao and Jianyang Zeng
• Abstract要約: 我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。 KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
• 参考スコア（独自算出の注目度）: 13.55018269009361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing accurate deep learning models for molecular property prediction plays an increasingly essential role in drug and material discovery. Recently, due to the scarcity of labeled molecules, self-supervised learning methods for learning generalizable and transferable representations of molecular graphs have attracted lots of attention. In this paper, we argue that there exist two major issues hindering current self-supervised learning methods from obtaining desired performance on molecular property prediction, that is, the ill-defined pre-training tasks and the limited model capacity. To this end, we introduce Knowledge-guided Pre-training of Graph Transformer (KPGT), a novel self-supervised learning framework for molecular graph representation learning, to alleviate the aforementioned issues and improve the performance on the downstream molecular property prediction tasks. More specifically, we first introduce a high-capacity model, named Line Graph Transformer (LiGhT), which emphasizes the importance of chemical bonds and is mainly designed to model the structural information of molecular graphs. Then, a knowledge-guided pre-training strategy is proposed to exploit the additional knowledge of molecules to guide the model to capture the abundant structural and semantic information from large-scale unlabeled molecular graphs. Extensive computational tests demonstrated that KPGT can offer superior performance over current state-of-the-art methods on several molecular property prediction tasks.
• Abstract（参考訳）: 分子特性予測のための正確なディープラーニングモデルの設計は、薬物や物質の発見においてますます重要な役割を果たす。 近年,ラベル付き分子の不足により,分子グラフの一般化および伝達可能な表現を学習するための自己教師付き学習法が注目されている。 本稿では,既存の自己教師型学習手法が,分子特性予測,すなわち未定義の事前学習タスクと限定モデル能力において望ましい性能を得るのを妨げる2つの大きな問題が存在することを論じる。 この目的のために、分子グラフ表現学習のための新しい自己教師型学習フレームワークであるKPGT(Knowledge-guided Pre-training of Graph Transformer)を導入し、上記の問題を緩和し、下流の分子特性予測タスクの性能を向上させる。 より具体的には、まずLine Graph Transformer (LiGhT) という高容量モデルを紹介し、これは化学結合の重要性を強調し、主に分子グラフの構造情報をモデル化するために設計されている。 次に, 分子の知識を活用し, 大規模非ラベル分子グラフから豊富な構造的, 意味的情報を取り出すための知識誘導事前学習戦略を提案する。 大規模計算実験により、KPGTはいくつかの分子特性予測タスクにおける現在の最先端手法よりも優れた性能を提供できることが示された。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Contrastive Dual-Interaction Graph Neural Network for Molecular Property Prediction [0.0]
  本稿では,分子特性予測のための自己教師付きグラフニューラルネットワークフレームワークであるDIG-Molを紹介する。 DIG-Molは2つの相互接続ネットワークと運動量蒸留ネットワークを統合し、分子特性を効率的に改善する。 我々は,様々な分子特性予測タスクにおける広範囲な実験的評価により,DIG-Molの最先端性能を確立した。
  論文  参考訳（メタデータ） (2024-05-04T10:09:27Z)
• MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
  MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。 両者の分子表現の強さを融合させる。 ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-11-28T10:28:35Z)
• Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [55.42602325017405]
  本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。 異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。 11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
  論文  参考訳（メタデータ） (2023-06-02T15:49:45Z)
• Atomic and Subgraph-aware Bilateral Aggregation for Molecular Representation Learning [57.670845619155195]
  我々は、原子とサブグラフを意識したバイラテラルアグリゲーション(ASBA)と呼ばれる分子表現学習の新しいモデルを導入する。 ASBAは、両方の種類の情報を統合することで、以前の原子単位とサブグラフ単位のモデルの限界に対処する。 本手法は,分子特性予測のための表現をより包括的に学習する方法を提供する。
  論文  参考訳（メタデータ） (2023-05-22T00:56:00Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• Supervised Pretraining for Molecular Force Fields and Properties Prediction [16.86839767858162]
  本研究では, 原子電荷と3次元ジオメトリーを入力とし, 分子エネルギーをラベルとする8800万分子のデータセット上で, ニューラルネットワークを事前学習することを提案する。 実験により、スクラッチからのトレーニングと比較して、事前訓練されたモデルを微調整すると、7つの分子特性予測タスクと2つの力場タスクのパフォーマンスが大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-11-23T08:36:50Z)
• Graph neural networks for the prediction of molecular structure-property relationships [59.11160990637615]
  グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。 GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。 本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
  論文  参考訳（メタデータ） (2022-07-25T11:30:44Z)
• Attention-wise masked graph contrastive learning for predicting molecular property [15.387677968070912]
  大規模無ラベル分子のための自己教師付き表現学習フレームワークを提案する。 我々は,注目グラフマスクと呼ばれる新しい分子グラフ拡張戦略を開発した。 我々のモデルは重要な分子構造と高次意味情報を捉えることができる。
  論文  参考訳（メタデータ） (2022-05-02T00:28:02Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。