論文の概要: Accelerating Molecular Graph Neural Networks via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2306.14818v1
• Date: Mon, 26 Jun 2023 16:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 12:37:04.785616
• Title: Accelerating Molecular Graph Neural Networks via Knowledge Distillation
• Title（参考訳）: 知識蒸留による分子グラフニューラルネットワークの高速化
• Authors: Filip Ekstr\"om Kelvinius, Dimitar Georgiev, Artur Petrov Toshev, Johannes Gasteiger
• Abstract要約: グラフニューラルネットワーク(GNN)の最近の進歩により、計算コストのごく一部で従来の金標準法と同等の精度で分子シミュレーションが可能になった。 この分野は、より大規模で複雑なアーキテクチャへと進展しているため、最先端のGNNは、多くの大規模アプリケーションでほとんど禁止されている。 我々は, 方向性および同変GNNにおける隠れ表現の蒸留を容易にするKD戦略を考案し, エネルギー・力予測の回帰タスクにおけるその性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in graph neural networks (GNNs) have allowed molecular simulations with accuracy on par with conventional gold-standard methods at a fraction of the computational cost. Nonetheless, as the field has been progressing to bigger and more complex architectures, state-of-the-art GNNs have become largely prohibitive for many large-scale applications. In this paper, we, for the first time, explore the utility of knowledge distillation (KD) for accelerating molecular GNNs. To this end, we devise KD strategies that facilitate the distillation of hidden representations in directional and equivariant GNNs and evaluate their performance on the regression task of energy and force prediction. We validate our protocols across different teacher-student configurations and demonstrate that they can boost the predictive accuracy of student models without altering their architecture. We also conduct comprehensive optimization of various components of our framework, and investigate the potential of data augmentation to further enhance performance. All in all, we manage to close as much as 59% of the gap in predictive accuracy between models like GemNet-OC and PaiNN with zero additional cost at inference.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の進歩により、計算コストのごく一部で従来の金標準法と同等の精度で分子シミュレーションが可能になった。 それにもかかわらず、この分野がより大規模で複雑なアーキテクチャへと進展しているため、最先端のGNNは、多くの大規模アプリケーションでほとんど禁止されている。 本稿では,分子GNNの加速のための知識蒸留(KD)の有用性を初めて検討する。 そこで我々は, 方向性および同変GNNにおける隠れ表現の蒸留を容易にするKD戦略を考案し, エネルギー・力予測の回帰課題におけるその性能を評価する。 我々は,教師の学生構成の異なるプロトコルを検証し,学生モデルの予測精度をアーキテクチャを変更することなく向上させることができることを示した。 また,フレームワークの様々なコンポーネントを総合的に最適化し,データ拡張の可能性を調べ,さらなる性能向上を図る。 全体としては、gemnet-oc や painn のようなモデル間の予測精度の差の最大59%を、推論の追加コストなしで閉じることができました。

関連論文リスト

• Dumpling GNN: Hybrid GNN Enables Better ADC Payload Activity Prediction Based on Chemical Structure [53.76752789814785]
  DumplingGNNは、化学構造に基づいてADCペイロードのアクティビティを予測するために特別に設計された、ハイブリッドなグラフニューラルネットワークアーキテクチャである。 DNAトポイソメラーゼIインヒビターに着目した包括的ADCペイロードデータセットで評価を行った。 特別なADCペイロードデータセットに対して、例外的な精度(91.48%)、感度95.08%)、特異性(97.54%)を示す。
  論文  参考訳（メタデータ） (2024-09-23T17:11:04Z)
• Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
  グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。 本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
  論文  参考訳（メタデータ） (2024-08-27T11:10:39Z)
• GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs [19.019980841275366]
  我々は、KAN(Kolmogorov-Arnold Networks)を統合したGNNの新しいクラスを導入する。 Kanは、その堅牢なデータ適合能力と、小規模AI + Scienceタスクの高精度で知られている。 本稿では,新たなクラスであるGNN-SKANと,その拡張型であるGNN-SKAN+を提案する。
  論文  参考訳（メタデータ） (2024-08-02T05:36:14Z)
• Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [55.42602325017405]
  本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。 異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。 11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
  論文  参考訳（メタデータ） (2023-06-02T15:49:45Z)
• Molecule-Morphology Contrastive Pretraining for Transferable Molecular Representation [0.0]
  分子グラフと細胞形態のマルチモーダル表現を学習するためのフレームワークであるMoCoP(Moecule-Morphology Contrastive Pretraining)を紹介する。 我々は、JUMP-CPコンソーシアムのデータを用いて、MoCoPを約100K分子と600K形態素にスケールする。 この結果から,MoCoPを用いた細胞形態と分子グラフの統合により,QSARモデルの性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-27T02:01:41Z)
• Graph neural networks for the prediction of molecular structure-property relationships [59.11160990637615]
  グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。 GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。 本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
  論文  参考訳（メタデータ） (2022-07-25T11:30:44Z)
• KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular Property Prediction [13.55018269009361]
  我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。 KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
  論文  参考訳（メタデータ） (2022-06-02T08:22:14Z)
• Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
  分子特性予測の新しいモデルであるMeta-MGNNを提案する。 ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。 2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-02-16T01:55:34Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。