論文の概要: Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians

• arxiv url: http://arxiv.org/abs/2501.09009v1
• Date: Wed, 15 Jan 2025 18:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:16.576903
• Title: Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians
• Title（参考訳）: 高速で特殊化された機械学習力場を目指して:エネルギーヘッセンによる基礎モデルの蒸留
• Authors: Ishan Amin, Sanjeev Raja, Aditi Krishnapriyan,
• Abstract要約: 本稿では,MLFF基礎モデルから化学空間の特定の領域に特化して,より小さく,より高速なMLFFへの汎用表現の転送手法を提案する。 私たちの専門的なMLFFは、オリジナルの基礎モデルよりも最大20ドル高速で、そして場合によっては、その性能と未蒸留モデルよりも高速です。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The foundation model (FM) paradigm is transforming Machine Learning Force Fields (MLFFs), leveraging general-purpose representations and scalable training to perform a variety of computational chemistry tasks. Although MLFF FMs have begun to close the accuracy gap relative to first-principles methods, there is still a strong need for faster inference speed. Additionally, while research is increasingly focused on general-purpose models which transfer across chemical space, practitioners typically only study a small subset of systems at a given time. This underscores the need for fast, specialized MLFFs relevant to specific downstream applications, which preserve test-time physical soundness while maintaining train-time scalability. In this work, we introduce a method for transferring general-purpose representations from MLFF foundation models to smaller, faster MLFFs specialized to specific regions of chemical space. We formulate our approach as a knowledge distillation procedure, where the smaller "student" MLFF is trained to match the Hessians of the energy predictions of the "teacher" foundation model. Our specialized MLFFs can be up to 20 $\times$ faster than the original foundation model, while retaining, and in some cases exceeding, its performance and that of undistilled models. We also show that distilling from a teacher model with a direct force parameterization into a student model trained with conservative forces (i.e., computed as derivatives of the potential energy) successfully leverages the representations from the large-scale teacher for improved accuracy, while maintaining energy conservation during test-time molecular dynamics simulations. More broadly, our work suggests a new paradigm for MLFF development, in which foundation models are released along with smaller, specialized simulation "engines" for common chemical subsets.
• Abstract（参考訳）: 基礎モデル(FM)パラダイムは、汎用表現とスケーラブルなトレーニングを活用して、さまざまな計算化学タスクを実行する機械学習フォースフィールド(MLFF)の変換である。 MLFF FMは、第一原理法と比較して精度のギャップを埋め始めたが、高速な推論速度の必要性は依然として強い。 さらに、化学空間を横断する汎用モデルに研究が焦点を絞っている一方で、実践者は典型的には特定の時間におけるシステムの小さなサブセットのみを研究する。 これにより、列車時のスケーラビリティを維持しながら、テスト時の物理的健全性を保ちながら、特定のダウンストリームアプリケーションに関連する、高速で特殊なMLFFの必要性が浮き彫りになる。 本研究では,MLFFファンデーションモデルから化学空間の特定の領域に特化したより小型で高速なMLFFへの汎用表現の転送手法を提案する。 我々は知識蒸留の手法としてアプローチを定式化し、より小さな「学生」MLFFは「教師」基礎モデルのエネルギー予測のヘシアンと一致するように訓練される。 私たちの専門的なMLFFは、オリジナルの基礎モデルよりも最大20ドル(約2万2000円)高速で維持でき、場合によってはその性能と未蒸留モデルよりも高速です。 また,教師モデルから学生モデルへの直接的力パラメータ化を施した蒸留を,保守的な力で訓練した学生モデル(ポテンシャルエネルギーの微分として計算される)に蒸留することで,大規模教師の表現を有効活用し,精度を向上させるとともに,試験時間分子動力学シミュレーションにおける省エネ性を維持した。 より広範に、我々の研究はMLFF開発のための新しいパラダイムを提案し、基礎モデルと、一般的な化学サブセットのためのより小型で専門的なシミュレーション"エンジン"がリリースされる。

関連論文リスト

• Physics-Guided Foundation Model for Scientific Discovery: An Application to Aquatic Science [13.28811382673697]
  事前学習したMLモデルと物理モデルを組み合わせたtextittextbfPhysics-textbfGuided textbfFoundation textbfModel(textbfPGFM)を提案する。 実世界の湖沼における水温と溶存酸素動態のモデル化における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-10T00:48:10Z)
• BoostMD: Accelerating molecular sampling by leveraging ML force field features from previous time-steps [3.8214695776749013]
  BoostMDは分子動力学シミュレーションを高速化するために設計されたサロゲートモデルアーキテクチャである。 実験の結果,BoostMDは参照モデルと比較して8倍のスピードアップを実現していることがわかった。 効率的な機能再利用と合理化されたアーキテクチャを組み合わせることで、BoostMDは大規模で長期の分子シミュレーションを行うための堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-21T20:52:36Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Recent Advances on Machine Learning for Computational Fluid Dynamics: A Survey [51.87875066383221]
  本稿では、基本概念、従来の手法、ベンチマークデータセットを紹介し、CFDを改善する上で機械学習が果たす様々な役割について検討する。 我々は,空気力学,燃焼,大気・海洋科学,生物流体,プラズマ,記号回帰,秩序の低減など,CFDにおけるMLの現実的な応用を強調した。 シミュレーションの精度を向上し、計算時間を短縮し、流体力学のより複雑な解析を可能にすることにより、MLはCFD研究を大きく変革する可能性があるという結論を導いた。
  論文  参考訳（メタデータ） (2024-08-22T07:33:11Z)
• Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
  Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-24T15:46:32Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Forces are not Enough: Benchmark and Critical Evaluation for Machine Learning Force Fields with Molecular Simulations [5.138982355658199]
  分子動力学(MD)シミュレーション技術は様々な自然科学応用に広く用いられている。 我々は、最先端(SOTA)ML FFモデルの集合をベンチマークし、特に、一般的にベンチマークされる力の精度が、関連するシミュレーション指標とうまく一致していないことを示す。
  論文  参考訳（メタデータ） (2022-10-13T17:59:03Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Machine Learning Force Fields [54.48599172620472]
  機械学習(ML)は、計算化学の多くの進歩を可能にした。 最も有望な応用の1つは、MLベースの力場(FF)の構築である。 本稿では,ML-FFの応用と,それらから得られる化学的知見について概説する。
  論文  参考訳（メタデータ） (2020-10-14T13:14:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。