論文の概要: Teacher-student training improves accuracy and efficiency of machine learning inter-atomic potentials

• arxiv url: http://arxiv.org/abs/2502.05379v1
• Date: Fri, 07 Feb 2025 23:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:05.115243
• Title: Teacher-student training improves accuracy and efficiency of machine learning inter-atomic potentials
• Title（参考訳）: 教師教育は、機械学習の原子間ポテンシャルの精度と効率を改善する
• Authors: Sakib Matin, Alice Allen, Emily Shinkle, Aleksandra Pachalieva, Galen T. Craven, Benjamin Nebgen, Justin Smith, Richard Messerly, Ying Wai Li, Sergei Tretiak, Kipton Barros, Nicholas Lubbers,
• Abstract要約: 機械学習の原子間ポテンシャル(MLIP)は分子動力学(MD)シミュレーションの分野に革命をもたらしている。 本稿では,教師からの潜伏知識(原子エネルギー)を学生のトレーニングの強化に用いる教師学生訓練フレームワークを提案する。 注目すべきは、両方のモデルが同じ量子化学データセットでトレーニングされているにもかかわらず、学生モデルは教師の精度を越えられることだ。
• 参考スコア（独自算出の注目度）: 31.114245664719455
• License:
• Abstract: Machine learning inter-atomic potentials (MLIPs) are revolutionizing the field of molecular dynamics (MD) simulations. Recent MLIPs have tended towards more complex architectures trained on larger datasets. The resulting increase in computational and memory costs may prohibit the application of these MLIPs to perform large-scale MD simulations. Here, we present a teacher-student training framework in which the latent knowledge from the teacher (atomic energies) is used to augment the students' training. We show that the light-weight student MLIPs have faster MD speeds at a fraction of the memory footprint compared to the teacher models. Remarkably, the student models can even surpass the accuracy of the teachers, even though both are trained on the same quantum chemistry dataset. Our work highlights a practical method for MLIPs to reduce the resources required for large-scale MD simulations.
• Abstract（参考訳）: 機械学習の原子間ポテンシャル(MLIP)は分子動力学(MD)シミュレーションの分野に革命をもたらしている。 最近のMLIPは、より大きなデータセットでトレーニングされたより複雑なアーキテクチャに傾向があります。 その結果、計算とメモリコストの増大により、大規模なMDシミュレーションを行うためのMLIPの使用が禁止される可能性がある。 そこで,本研究では,教師からの潜伏した知識(原子エネルギー)を学生のトレーニング強化に活用する,教員教育の枠組みを提案する。 軽量の学生MLIPは,教師モデルと比較して,メモリフットプリントのごく一部でMD速度が速いことを示す。 注目すべきは、両方のモデルが同じ量子化学データセットでトレーニングされているにもかかわらず、学生モデルは教師の精度を越えられることだ。 本研究は,大規模MDシミュレーションに必要な資源を削減するためのMLIPの実践的手法を強調した。

関連論文リスト

• Energy & Force Regression on DFT Trajectories is Not Enough for Universal Machine Learning Interatomic Potentials [8.254607304215451]
  MLIP(Universal Machine Learning Interactomic Potentials)は、材料発見のための高速化されたシミュレーションを可能にする。 MLIPは様々な材料に対して大規模分子動力学(MD)シミュレーションを確実かつ正確に行うことができない。
  論文  参考訳（メタデータ） (2025-02-05T23:04:21Z)
• BoostMD: Accelerating molecular sampling by leveraging ML force field features from previous time-steps [3.8214695776749013]
  BoostMDは分子動力学シミュレーションを高速化するために設計されたサロゲートモデルアーキテクチャである。 実験の結果,BoostMDは参照モデルと比較して8倍のスピードアップを実現していることがわかった。 効率的な機能再利用と合理化されたアーキテクチャを組み合わせることで、BoostMDは大規模で長期の分子シミュレーションを行うための堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-21T20:52:36Z)
• MiniPLM: Knowledge Distillation for Pre-Training Language Models [109.83741809808483]
  MiniPLMは、学生言語モデルを事前学習するためのKDフレームワークである。 効率性のために、MiniPLMはオフラインの教師LM推論を実行し、複数の学生LMに対するKDを訓練時間のコストを伴わずに行えるようにした。 柔軟性のために、MiniPLMはトレーニングコーパスのみで動作し、モデルファミリ間のKDを可能にする。
  論文  参考訳（メタデータ） (2024-10-22T17:40:32Z)
• On Optimizing Hyperparameters for Quantum Neural Networks [0.5999777817331317]
  現在の最先端の機械学習モデルは、トレーニングに数週間を要する。 量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと強化されたパワーを提供する。
  論文  参考訳（メタデータ） (2024-03-27T13:59:09Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Bulk-Switching Memristor-based Compute-In-Memory Module for Deep Neural Network Training [15.660697326769686]
  本稿では,memristor-based Compute-in-Memory (CIM)モジュールの混合精度トレーニング手法を提案する。 提案方式は、完全に統合されたアナログCIMモジュールとデジタルサブシステムからなるシステムオンチップ(SoC)を用いて実装される。 より大規模なモデルのトレーニングの有効性は、現実的なハードウェアパラメータを用いて評価され、アナログCIMモジュールが、完全精度のソフトウェアトレーニングモデルに匹敵する精度で、効率的な混合精度トレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2023-05-23T22:03:08Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Machine Learning Training on a Real Processing-in-Memory System [9.286176889576996]
  機械学習アルゴリズムのトレーニングは計算集約的なプロセスであり、しばしばメモリバウンドである。 メモリ内処理機能を備えたメモリ中心のコンピューティングシステムは、このデータ移動ボトルネックを軽減することができる。 我々の研究は、現実世界の汎用PIMアーキテクチャ上で機械学習アルゴリズムのトレーニングを評価する最初のものである。
  論文  参考訳（メタデータ） (2022-06-13T10:20:23Z)
• Accurate Machine Learned Quantum-Mechanical Force Fields for Biomolecular Simulations [51.68332623405432]
  分子動力学(MD)シミュレーションは、化学的および生物学的プロセスに関する原子論的な洞察を可能にする。 近年,MDシミュレーションの代替手段として機械学習力場(MLFF)が出現している。 本研究は、大規模分子シミュレーションのための正確なMLFFを構築するための一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-17T13:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。