論文の概要: Fragment-based Pretraining and Finetuning on Molecular Graphs
- arxiv url: http://arxiv.org/abs/2310.03274v1
- Date: Thu, 5 Oct 2023 03:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 19:28:39.897025
- Title: Fragment-based Pretraining and Finetuning on Molecular Graphs
- Title（参考訳）: フラグメントに基づく分子グラフの事前学習と微調整
- Authors: Kha-Dinh Luong, Ambuj Singh
- Abstract要約: 分子グラフ上の特性予測はグラフニューラルネットワーク(GNN)の重要な応用である
本稿では,ノードレベルとグラフレベルの事前学習の限界を克服するために,フラグメントレベルでの事前学習を提案する。
我々のモデルは8つの共通分子ベンチマークのうち5つの性能を向上し、長距離生物学的ベンチマークのパフォーマンスを少なくとも11.5%向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Property prediction on molecular graphs is an important application of Graph
Neural Networks (GNNs). Recently, unlabeled molecular data has become abundant,
which facilitates the rapid development of self-supervised learning for GNNs in
the chemical domain. In this work, we propose pretraining GNNs at the fragment
level, which serves as a promising middle ground to overcome the limitations of
node-level and graph-level pretraining. Borrowing techniques from recent work
on principle subgraph mining, we obtain a compact vocabulary of prevalent
fragments that span a large pretraining dataset. From the extracted vocabulary,
we introduce several fragment-based contrastive and predictive pretraining
tasks. The contrastive learning task jointly pretrains two different GNNs: one
based on molecular graphs and one based on fragment graphs, which represents
high-order connectivity within molecules. By enforcing the consistency between
the fragment embedding and the aggregated embedding of the corresponding atoms
from the molecular graphs, we ensure that both embeddings capture structural
information at multiple resolutions. The structural information of the fragment
graphs is further exploited to extract auxiliary labels for the graph-level
predictive pretraining. We employ both the pretrained molecular-based and
fragment-based GNNs for downstream prediction, thus utilizing the fragment
information during finetuning. Our models advance the performances on 5 out of
8 common molecular benchmarks and improve the performances on long-range
biological benchmarks by at least 11.5%.
- Abstract（参考訳）: 分子グラフ上の特性予測はグラフニューラルネットワーク(GNN)の重要な応用である。
近年、未ラベルの分子データが多くなり、化学領域におけるGNNの自己教師型学習が急速に進展している。
本稿では,ノードレベルおよびグラフレベルの事前学習の限界を克服するための有望な中間点として,フラグメントレベルでのgnnの事前トレーニングを提案する。
基本サブグラフマイニングに関する最近の研究から借用するテクニックを借用し,大規模な事前学習データセットにまたがる,一般的な断片のコンパクトな語彙を得る。
抽出した語彙から,いくつかのフラグメントベースのコントラスト型および予測型事前学習タスクを導入する。
対照的な学習課題は、分子グラフに基づくものと、分子内の高次接続を表すフラグメントグラフに基づく2つの異なるGNNを同時に事前訓練する。
フラグメント埋め込みと対応する原子の分子グラフからの集約埋め込みの一貫性を強制することにより、両方の埋め込みが複数の解像度で構造情報をキャプチャすることを保証する。
さらに、フラグメントグラフの構造情報を用いて、グラフレベルの予測事前学習のための補助ラベルを抽出する。
下流の予測には, 事前学習した分子型およびフラグメント型gnnを併用し, 微調整時のフラグメント情報を活用する。
我々のモデルは8つの共通分子ベンチマークのうち5つの性能を向上し、長距離生物学的ベンチマークのパフォーマンスを少なくとも11.5%向上させる。
関連論文リスト
- Investigating Graph Neural Networks and Classical Feature-Extraction Techniques in Activity-Cliff and Molecular Property Prediction [0.6906005491572401]
分子の破滅は、分子データの数値的特徴ベクトルへの変換を指す。
分子グラフから直接識別可能な特徴を学習する新しい手法として、メッセージパッシンググラフニューラルネットワーク(GNN)が登場した。
論文 参考訳（メタデータ） (2024-11-20T20:07:48Z) - Molecular Property Prediction Based on Graph Structure Learning [29.516479802217205]
我々はGSL-MPPと呼ばれるグラフ構造学習(GSL)に基づくMPPアプローチを提案する。
具体的には、まず、分子グラフ上にグラフニューラルネットワーク(GNN)を適用し、分子表現を抽出する。
分子指紋を用いて分子類似性グラフ(MSG)を構築する。
論文 参考訳（メタデータ） (2023-12-28T06:45:13Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - HiGNN: Hierarchical Informative Graph Neural Networks for Molecular
Property Prediction Equipped with Feature-Wise Attention [5.735627221409312]
分子特性を予測するための階層型情報グラフニューラルネットワークフレームワーク(HiGNN)を提案する。
実験により、HiGNNは、多くの挑戦的な薬物発見関連ベンチマークデータセットに対して最先端の予測性能を達成することが示された。
論文 参考訳（メタデータ） (2022-08-30T05:16:15Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - FunQG: Molecular Representation Learning Via Quotient Graphs [0.0]
本稿ではFunQGという新しい分子グラフ粗化フレームワークを提案する。
FunQGは、その性質を決定するために分子の影響力のある構成要素として官能基を用いる。
得られた情報グラフは,分子グラフよりもはるかに小さいため,GNNの訓練に適していることを示す。
論文 参考訳（メタデータ） (2022-07-18T13:36:20Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Motif-based Graph Self-Supervised Learning forMolecular Property
Prediction [12.789013658551454]
グラフニューラルネットワーク(GNN)は、様々な分子生成および予測タスクにおいて顕著な成功を収めている。
既存のGNN用の自己教師付き事前トレーニングフレームワークのほとんどは、ノードレベルまたはグラフレベルのタスクのみに焦点を当てている。
GNNのための新しい自己教師型モチーフ生成フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-03T11:45:51Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。