論文の概要: Accelerating Molecular Graph Neural Networks via Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2306.14818v2
- Date: Sat, 28 Oct 2023 10:55:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 21:00:17.516750
- Title: Accelerating Molecular Graph Neural Networks via Knowledge Distillation
- Title（参考訳）: 知識蒸留による分子グラフニューラルネットワークの高速化
- Authors: Filip Ekstr\"om Kelvinius, Dimitar Georgiev, Artur Petrov Toshev,
Johannes Gasteiger
- Abstract要約: グラフニューラルネットワーク(GNN)の最近の進歩は、分子や分子系のより包括的なモデリングを可能にしている。
この分野は、より大規模で複雑なアーキテクチャへと進展しているため、最先端のGNNは、多くの大規模アプリケーションでほとんど禁止されている。
我々は, 方向性および同変GNNにおける隠れ表現の蒸留を容易にするKD戦略を考案し, エネルギー・力予測の回帰タスクにおけるその性能を評価する。
- 参考スコア（独自算出の注目度）: 1.9116784879310031
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in graph neural networks (GNNs) have enabled more
comprehensive modeling of molecules and molecular systems, thereby enhancing
the precision of molecular property prediction and molecular simulations.
Nonetheless, as the field has been progressing to bigger and more complex
architectures, state-of-the-art GNNs have become largely prohibitive for many
large-scale applications. In this paper, we explore the utility of knowledge
distillation (KD) for accelerating molecular GNNs. To this end, we devise KD
strategies that facilitate the distillation of hidden representations in
directional and equivariant GNNs, and evaluate their performance on the
regression task of energy and force prediction. We validate our protocols
across different teacher-student configurations and datasets, and demonstrate
that they can consistently boost the predictive accuracy of student models
without any modifications to their architecture. Moreover, we conduct
comprehensive optimization of various components of our framework, and
investigate the potential of data augmentation to further enhance performance.
All in all, we manage to close the gap in predictive accuracy between teacher
and student models by as much as 96.7% and 62.5% for energy and force
prediction respectively, while fully preserving the inference throughput of the
more lightweight models.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の進歩により、分子や分子系のより包括的なモデリングが可能となり、分子特性予測と分子シミュレーションの精度が向上した。
それにもかかわらず、この分野がより大規模で複雑なアーキテクチャへと進展しているため、最先端のGNNは、多くの大規模アプリケーションでほとんど禁止されている。
本稿では,分子GNNの高速化のための知識蒸留(KD)の有用性について検討する。
この目的のために,方向および同変gnnにおける隠れ表現の蒸留を容易にするkd戦略を考案し,エネルギーおよび力予測の回帰タスクにおけるその性能を評価する。
異なる教師の学生構成やデータセットにまたがるプロトコルを検証し、学生モデルの予測精度をアーキテクチャの変更なしに継続的に向上させることができることを示す。
さらに,本フレームワークの各種コンポーネントを包括的に最適化し,データ拡張の可能性を調べ,さらなる性能向上を図る。
全体として、教師モデルと学生モデルの予測精度のギャップを、それぞれ96.7%と62.5%のエネルギーと力の予測で埋めると同時に、より軽量なモデルの推論スループットを完全に保存する。
関連論文リスト
- Dumpling GNN: Hybrid GNN Enables Better ADC Payload Activity Prediction Based on Chemical Structure [53.76752789814785]
DumplingGNNは、化学構造に基づいてADCペイロードのアクティビティを予測するために特別に設計された、ハイブリッドなグラフニューラルネットワークアーキテクチャである。
DNAトポイソメラーゼIインヒビターに着目した包括的ADCペイロードデータセットで評価を行った。
特別なADCペイロードデータセットに対して、例外的な精度(91.48%)、感度95.08%)、特異性(97.54%)を示す。
論文 参考訳（メタデータ） (2024-09-23T17:11:04Z) - Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。
本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
論文 参考訳（メタデータ） (2024-08-27T11:10:39Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [68.32093648671496]
分子に固有の二重レベル構造を考慮に入れたGODEを導入する。
分子は固有のグラフ構造を持ち、より広い分子知識グラフ内のノードとして機能する。
異なるグラフ構造上の2つのGNNを事前学習することにより、GODEは対応する知識グラフサブ構造と分子構造を効果的に融合させる。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - Molecule-Morphology Contrastive Pretraining for Transferable Molecular
Representation [0.0]
分子グラフと細胞形態のマルチモーダル表現を学習するためのフレームワークであるMoCoP(Moecule-Morphology Contrastive Pretraining)を紹介する。
我々は、JUMP-CPコンソーシアムのデータを用いて、MoCoPを約100K分子と600K形態素にスケールする。
この結果から,MoCoPを用いた細胞形態と分子グラフの統合により,QSARモデルの性能が著しく向上することが示唆された。
論文 参考訳（メタデータ） (2023-04-27T02:01:41Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular
Property Prediction [13.55018269009361]
我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。
KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
論文 参考訳（メタデータ） (2022-06-02T08:22:14Z) - Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
分子特性予測の新しいモデルであるMeta-MGNNを提案する。
ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。
2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-16T01:55:34Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳（メタデータ） (2020-05-17T04:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。