Fugu-MT 論文翻訳(概要): Pretraining Strategy for Neural Potentials

論文の概要: Pretraining Strategy for Neural Potentials

arxiv url: http://arxiv.org/abs/2402.15921v1
Date: Sat, 24 Feb 2024 22:32:34 GMT
ステータス: 処理完了
システム内更新日: 2024-02-27 16:20:10.503075
Title: Pretraining Strategy for Neural Potentials
Title（参考訳）: 神経電位の事前学習戦略
Authors: Zehua Zhang, Zijie Li, Amir Barati Farimani
Abstract要約: 本稿では,グラフニューラルネットワーク(GNN)のマスク事前学習手法を提案する。 GNNは、分子からマスクされた原子に関連する空間情報を回収し、原子の力場に移動して微調整することで事前訓練される。
参考スコア（独自算出の注目度）: 12.65375527423502
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a mask pretraining method for Graph Neural Networks (GNNs) to improve their performance on fitting potential energy surfaces, particularly in water systems. GNNs are pretrained by recovering spatial information related to masked-out atoms from molecules, then transferred and finetuned on atomic forcefields. Through such pretraining, GNNs learn meaningful prior about structural and underlying physical information of molecule systems that are useful for downstream tasks. From comprehensive experiments and ablation studies, we show that the proposed method improves the accuracy and convergence speed compared to GNNs trained from scratch or using other pretraining techniques such as denoising. On the other hand, our pretraining method is suitable for both energy-centric and force-centric GNNs. This approach showcases its potential to enhance the performance and data efficiency of GNNs in fitting molecular force fields.
Abstract（参考訳）: 本稿では,グラフニューラルネットワーク(gnns)のマスク事前学習法を提案する。 GNNは、分子からマスクされた原子に関連する空間情報を回収し、原子の力場に移動して微調整することで事前訓練される。このような事前訓練を通じて、GNNは下流タスクに有用な分子系の構造的および基礎的な物理情報について有意義に学習する。包括的実験とアブレーション実験から,提案手法は,スクラッチからトレーニングしたgnnや,デノイジングなどの他のプリトレーニング技術を用いた場合と比較して,精度と収束速度が向上することを示す。一方,予備訓練法はエネルギー中心GNNと力中心GNNの両方に適している。このアプローチは分子力場に適合するgnnの性能とデータ効率を向上させる可能性を示している。

関連論文リスト

Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
論文参考訳（メタデータ） (2024-09-12T06:22:44Z)
Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
論文参考訳（メタデータ） (2024-06-28T04:21:32Z)
Transfer learning for atomistic simulations using GNNs and kernel mean embeddings [24.560340485988128]
本稿では, グラフニューラルネットワーク(GNN)を用いて, カーネル平均埋め込みとともに, 化学環境を表現するトランスファー学習アルゴリズムを提案する。我々は,複雑性を増大させる一連の現実的なデータセットに対して,我々のアプローチを検証し,優れた一般化と伝達可能性性能を示す。
論文参考訳（メタデータ） (2023-06-02T14:58:16Z)
Denoise Pretraining on Nonequilibrium Molecules for Accurate and Transferable Neural Potentials [8.048439531116367]
より正確で伝達可能なGNNポテンシャル予測を実現するために,非平衡分子配座の事前学習を提案する。小分子で事前学習したモデルでは、顕著な伝達性を示し、多様な分子系で微調整された場合の性能が向上した。
論文参考訳（メタデータ） (2023-03-03T21:15:22Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文参考訳（メタデータ） (2022-12-18T08:17:32Z)
A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
論文参考訳（メタデータ） (2022-11-10T06:22:12Z)
CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
論文参考訳（メタデータ） (2021-10-28T02:28:13Z)
Fast and Sample-Efficient Interatomic Neural Network Potentials for Molecules and Materials Based on Gaussian Moments [3.1829446824051195]
従来のGM-NNモデルに基づいて改良されたNNアーキテクチャを提案する。改善された方法論は、アクティブラーニングやラーニング・オン・ザ・フライ(Learning-on-the-fly)といったトレーニング・ヘビーの前提条件である。
論文参考訳（メタデータ） (2021-09-20T14:23:34Z)
On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文参考訳（メタデータ） (2020-11-04T12:29:33Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。