論文の概要: Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians

• arxiv url: http://arxiv.org/abs/2501.09009v2
• Date: Fri, 31 Jan 2025 18:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:50:17.61216
• Title: Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians
• Title（参考訳）: 高速で特殊化された機械学習力場を目指して:エネルギーヘッセンによる基礎モデルの蒸留
• Authors: Ishan Amin, Sanjeev Raja, Aditi Krishnapriyan,
• Abstract要約: 本稿では,MLFF基礎モデルから化学空間の特定の領域に特化して,より小さく,より高速なMLFFへの汎用表現の転送手法を提案する。 私たちの専門的なMLFFは、オリジナルの基礎モデルよりも最大20ドル高速で、そして場合によっては、その性能と未蒸留モデルよりも高速です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The foundation model (FM) paradigm is transforming Machine Learning Force Fields (MLFFs), leveraging general-purpose representations and scalable training to perform a variety of computational chemistry tasks. Although MLFF FMs have begun to close the accuracy gap relative to first-principles methods, there is still a strong need for faster inference speed. Additionally, while research is increasingly focused on general-purpose models which transfer across chemical space, practitioners typically only study a small subset of systems at a given time. This underscores the need for fast, specialized MLFFs relevant to specific downstream applications, which preserve test-time physical soundness while maintaining train-time scalability. In this work, we introduce a method for transferring general-purpose representations from MLFF foundation models to smaller, faster MLFFs specialized to specific regions of chemical space. We formulate our approach as a knowledge distillation procedure, where the smaller "student" MLFF is trained to match the Hessians of the energy predictions of the "teacher" foundation model. Our specialized MLFFs can be up to 20 $\times$ faster than the original foundation model, while retaining, and in some cases exceeding, its performance and that of undistilled models. We also show that distilling from a teacher model with a direct force parameterization into a student model trained with conservative forces (i.e., computed as derivatives of the potential energy) successfully leverages the representations from the large-scale teacher for improved accuracy, while maintaining energy conservation during test-time molecular dynamics simulations. More broadly, our work suggests a new paradigm for MLFF development, in which foundation models are released along with smaller, specialized simulation "engines" for common chemical subsets.
• Abstract（参考訳）: 基礎モデル(FM)パラダイムは、汎用表現とスケーラブルなトレーニングを活用して、さまざまな計算化学タスクを実行する機械学習フォースフィールド(MLFF)の変換である。 MLFF FMは、第一原理法と比較して精度のギャップを埋め始めたが、高速な推論速度の必要性は依然として強い。 さらに、化学空間を横断する汎用モデルに研究が焦点を絞っている一方で、実践者は典型的には特定の時間におけるシステムの小さなサブセットのみを研究する。 これにより、列車時のスケーラビリティを維持しながら、テスト時の物理的健全性を保ちながら、特定のダウンストリームアプリケーションに関連する、高速で特殊なMLFFの必要性が浮き彫りになる。 本研究では,MLFFファンデーションモデルから化学空間の特定の領域に特化したより小型で高速なMLFFへの汎用表現の転送手法を提案する。 我々は知識蒸留の手法としてアプローチを定式化し、より小さな「学生」MLFFは「教師」基礎モデルのエネルギー予測のヘシアンと一致するように訓練される。 私たちの専門的なMLFFは、オリジナルの基礎モデルよりも最大20ドル(約2万2000円)高速で維持でき、場合によってはその性能と未蒸留モデルよりも高速です。 また,教師モデルから学生モデルへの直接的力パラメータ化を施した蒸留を,保守的な力で訓練した学生モデル(ポテンシャルエネルギーの微分として計算される)に蒸留することで,大規模教師の表現を有効活用し,精度を向上させるとともに,試験時間分子動力学シミュレーションにおける省エネ性を維持した。 より広範に、我々の研究はMLFF開発のための新しいパラダイムを提案し、基礎モデルと、一般的な化学サブセットのためのより小型で専門的なシミュレーション"エンジン"がリリースされる。

関連論文リスト

• Scaling Laws for Native Multimodal Models [53.490942903659565]
  我々は、ネイティブマルチモーダルモデルのアーキテクチャ設計を再考し、広範なスケーリング法の研究を行う。 我々の調査では、早期核融合アーキテクチャよりも後期核融合アーキテクチャに固有の利点は示されていない。 また,Mixture of Experts(MoEs)を組み込むことで,モダリティ固有の重みを学習し,性能を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2025-04-10T17:57:28Z)
• To Use or Not to Use a Universal Force Field [1.25431689228423]
  機械学習力場(MLFF)は分子動力学(MD)シミュレーションの強力なツールとして登場した。 このパースペクティブは、複合材料システムのシミュレーションのための普遍的MLFFの実現可能性を評価する。
  論文  参考訳（メタデータ） (2025-03-11T09:23:01Z)
• Physics-Guided Foundation Model for Scientific Discovery: An Application to Aquatic Science [13.28811382673697]
  事前学習したMLモデルと物理モデルを組み合わせたtextittextbfPhysics-textbfGuided textbfFoundation textbfModel(textbfPGFM)を提案する。 実世界の湖沼における水温と溶存酸素動態のモデル化における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-10T00:48:10Z)
• BoostMD: Accelerating molecular sampling by leveraging ML force field features from previous time-steps [3.8214695776749013]
  BoostMDは分子動力学シミュレーションを高速化するために設計されたサロゲートモデルアーキテクチャである。 実験の結果,BoostMDは参照モデルと比較して8倍のスピードアップを実現していることがわかった。 効率的な機能再利用と合理化されたアーキテクチャを組み合わせることで、BoostMDは大規模で長期の分子シミュレーションを行うための堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-21T20:52:36Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Forces are not Enough: Benchmark and Critical Evaluation for Machine Learning Force Fields with Molecular Simulations [5.138982355658199]
  分子動力学(MD)シミュレーション技術は様々な自然科学応用に広く用いられている。 我々は、最先端(SOTA)ML FFモデルの集合をベンチマークし、特に、一般的にベンチマークされる力の精度が、関連するシミュレーション指標とうまく一致していないことを示す。
  論文  参考訳（メタデータ） (2022-10-13T17:59:03Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Machine Learning Force Fields [54.48599172620472]
  機械学習(ML)は、計算化学の多くの進歩を可能にした。 最も有望な応用の1つは、MLベースの力場(FF)の構築である。 本稿では,ML-FFの応用と,それらから得られる化学的知見について概説する。
  論文  参考訳（メタデータ） (2020-10-14T13:14:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。