論文の概要: Fragment-based Pretraining and Finetuning on Molecular Graphs
- arxiv url: http://arxiv.org/abs/2310.03274v2
- Date: Sat, 28 Oct 2023 03:22:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:46:06.077170
- Title: Fragment-based Pretraining and Finetuning on Molecular Graphs
- Title（参考訳）: フラグメントに基づく分子グラフの事前学習と微調整
- Authors: Kha-Dinh Luong, Ambuj Singh
- Abstract要約: 標識されていない分子データは豊富になり、化学領域におけるGNNの自己教師付き学習の急速な発展を促進する。
本稿では,ノードレベルとグラフレベルの事前学習の限界を克服するために,フラグメントレベルでの事前学習を提案する。
グラフフラグメントに基づく事前学習(GraphFP)では,8つの共通分子ベンチマークのうち5つのパフォーマンスが向上し,少なくとも11.5%の長範囲生物学的ベンチマークのパフォーマンスが向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Property prediction on molecular graphs is an important application of Graph
Neural Networks. Recently, unlabeled molecular data has become abundant, which
facilitates the rapid development of self-supervised learning for GNNs in the
chemical domain. In this work, we propose pretraining GNNs at the fragment
level, a promising middle ground to overcome the limitations of node-level and
graph-level pretraining. Borrowing techniques from recent work on principal
subgraph mining, we obtain a compact vocabulary of prevalent fragments from a
large pretraining dataset. From the extracted vocabulary, we introduce several
fragment-based contrastive and predictive pretraining tasks. The contrastive
learning task jointly pretrains two different GNNs: one on molecular graphs and
the other on fragment graphs, which represents higher-order connectivity within
molecules. By enforcing consistency between the fragment embedding and the
aggregated embedding of the corresponding atoms from the molecular graphs, we
ensure that the embeddings capture structural information at multiple
resolutions. The structural information of fragment graphs is further exploited
to extract auxiliary labels for graph-level predictive pretraining. We employ
both the pretrained molecular-based and fragment-based GNNs for downstream
prediction, thus utilizing the fragment information during finetuning. Our
graph fragment-based pretraining (GraphFP) advances the performances on 5 out
of 8 common molecular benchmarks and improves the performances on long-range
biological benchmarks by at least 11.5%. Code is available at:
https://github.com/lvkd84/GraphFP.
- Abstract（参考訳）: 分子グラフ上の特性予測はグラフニューラルネットワークの重要な応用である。
近年、未ラベルの分子データが多くなり、化学領域におけるGNNの自己教師型学習が急速に進展している。
本研究では,ノードレベルとグラフレベルの事前学習の限界を克服するために,フラグメントレベルでの事前学習GNNを提案する。
主要地層採掘に関する最近の研究の成果を引用し, 大規模プレトレーニングデータセットから有意なフラグメントのコンパクトな語彙を求める。
抽出した語彙から,いくつかのフラグメントベースのコントラスト型および予測型事前学習タスクを導入する。
コントラスト学習タスクは、分子グラフ上の1つと分子内の高次接続を表すフラグメントグラフの2つのgnnを共同で事前学習する。
フラグメント埋め込みと対応する原子の分子グラフからの集約埋め込みの一貫性を強制することにより、埋め込みが複数の解像度で構造情報をキャプチャすることを保証する。
フラグメントグラフの構造情報は、グラフレベルの予測事前学習のための補助ラベルを抽出するためにさらに活用される。
下流の予測には, 事前学習した分子型およびフラグメント型gnnを併用し, 微調整時のフラグメント情報を活用する。
グラフフラグメントに基づく事前学習(GraphFP)では,8つの共通分子ベンチマークのうち5つのパフォーマンスが向上し,少なくとも11.5%の長範囲生物学的ベンチマークのパフォーマンスが向上する。
コードは、https://github.com/lvkd84/GraphFP.comで入手できる。
関連論文リスト
- Investigating Graph Neural Networks and Classical Feature-Extraction Techniques in Activity-Cliff and Molecular Property Prediction [0.6906005491572401]
分子の破滅は、分子データの数値的特徴ベクトルへの変換を指す。
分子グラフから直接識別可能な特徴を学習する新しい手法として、メッセージパッシンググラフニューラルネットワーク(GNN)が登場した。
論文 参考訳（メタデータ） (2024-11-20T20:07:48Z) - Molecular Property Prediction Based on Graph Structure Learning [29.516479802217205]
我々はGSL-MPPと呼ばれるグラフ構造学習(GSL)に基づくMPPアプローチを提案する。
具体的には、まず、分子グラフ上にグラフニューラルネットワーク(GNN)を適用し、分子表現を抽出する。
分子指紋を用いて分子類似性グラフ(MSG)を構築する。
論文 参考訳（メタデータ） (2023-12-28T06:45:13Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - HiGNN: Hierarchical Informative Graph Neural Networks for Molecular
Property Prediction Equipped with Feature-Wise Attention [5.735627221409312]
分子特性を予測するための階層型情報グラフニューラルネットワークフレームワーク(HiGNN)を提案する。
実験により、HiGNNは、多くの挑戦的な薬物発見関連ベンチマークデータセットに対して最先端の予測性能を達成することが示された。
論文 参考訳（メタデータ） (2022-08-30T05:16:15Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - FunQG: Molecular Representation Learning Via Quotient Graphs [0.0]
本稿ではFunQGという新しい分子グラフ粗化フレームワークを提案する。
FunQGは、その性質を決定するために分子の影響力のある構成要素として官能基を用いる。
得られた情報グラフは,分子グラフよりもはるかに小さいため,GNNの訓練に適していることを示す。
論文 参考訳（メタデータ） (2022-07-18T13:36:20Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Motif-based Graph Self-Supervised Learning forMolecular Property
Prediction [12.789013658551454]
グラフニューラルネットワーク(GNN)は、様々な分子生成および予測タスクにおいて顕著な成功を収めている。
既存のGNN用の自己教師付き事前トレーニングフレームワークのほとんどは、ノードレベルまたはグラフレベルのタスクのみに焦点を当てている。
GNNのための新しい自己教師型モチーフ生成フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-03T11:45:51Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。