論文の概要: On-the-Fly Fine-Tuning of Foundational Neural Network Potentials: A Bayesian Neural Network Approach
- arxiv url: http://arxiv.org/abs/2507.13805v1
- Date: Fri, 18 Jul 2025 10:33:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.260681
- Title: On-the-Fly Fine-Tuning of Foundational Neural Network Potentials: A Bayesian Neural Network Approach
- Title（参考訳）: 基礎的ニューラルネットワークポテンシャルのオンザフライ微調整:ベイズ的ニューラルネットワークアプローチ
- Authors: Tim Rensmeyer, Denis Kramer, Oliver Niggemann,
- Abstract要約: 微調整基礎モデルは、所望の精度に達するのに必要なトレーニングデータの量を減らすことができる。
この形式のアクティブラーニングを基礎モデルの微調整に適用する上で重要な課題は、微調整プロセス中にこれらのモデルの不確実性を評価する方法である。
- 参考スコア（独自算出の注目度）: 2.0700747055024284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the computational complexity of evaluating interatomic forces from first principles, the creation of interatomic machine learning force fields has become a highly active field of research. However, the generation of training datasets of sufficient size and sample diversity itself comes with a computational burden that can make this approach impractical for modeling rare events or systems with a large configuration space. Fine-tuning foundation models that have been pre-trained on large-scale material or molecular databases offers a promising opportunity to reduce the amount of training data necessary to reach a desired level of accuracy. However, even if this approach requires less training data overall, creating a suitable training dataset can still be a very challenging problem, especially for systems with rare events and for end-users who don't have an extensive background in machine learning. In on-the-fly learning, the creation of a training dataset can be largely automated by using model uncertainty during the simulation to decide if the model is accurate enough or if a structure should be recalculated with classical methods and used to update the model. A key challenge for applying this form of active learning to the fine-tuning of foundation models is how to assess the uncertainty of those models during the fine-tuning process, even though most foundation models lack any form of uncertainty quantification. In this paper, we overcome this challenge by introducing a fine-tuning approach based on Bayesian neural network methods and a subsequent on-the-fly workflow that automatically fine-tunes the model while maintaining a pre-specified accuracy and can detect rare events such as transition states and sample them at an increased rate relative to their occurrence.
- Abstract（参考訳）: 第一原理から原子間力を評価する計算複雑性のため、原子間機械学習力場の作成は、非常に活発な研究分野となっている。
しかし、十分なサイズとサンプルの多様性のトレーニングデータセットの生成には、このアプローチが大きな構成空間を持つ稀なイベントやシステムのモデリングに非現実的になるような計算上の負担が伴う。
大規模材料や分子データベース上で事前トレーニングされたファインチューニング基盤モデルは、望ましい精度に達するために必要なトレーニングデータ量を削減できる有望な機会を提供する。
しかしながら、このアプローチが全体的なトレーニングデータが少ないとしても、特にまれなイベントを持つシステムや、マシンラーニングの広範なバックグラウンドを持たないエンドユーザにとって、適切なトレーニングデータセットを作成することは、依然として非常に難しい問題です。
オンザフライ学習では、モデルが十分に正確か、あるいは構造が古典的な方法で再計算され、モデルを更新するために使用されるべきかを決定するために、シミュレーション中にモデル不確実性を使用することで、トレーニングデータセットの作成を大部分が自動化することができる。
この形式のアクティブラーニングを基礎モデルの微調整に適用する上で重要な課題は、ほとんどの基礎モデルは不確実な定量化の形式を欠いているにもかかわらず、微調整過程におけるそれらのモデルの不確実性を評価する方法である。
本稿では,ベイジアンニューラルネットワーク法に基づく微調整手法と,それに続くオンザフライワークフローを導入し,事前の精度を維持しながらモデルを自動的に微調整し,遷移状態などの稀な事象を検出し,それらの発生に対して高い速度でサンプリングする手法を提案する。
関連論文リスト
- FORT: Forward-Only Regression Training of Normalizing Flows [85.66894616735752]
我々は,古典正規化フローを,精度の高い一段階生成モデルとして再考する。
本稿では,従来の最大度学習で用いられる可変式の変更を計算する必要のない,スケーラブルな学習目標を提案する。
論文 参考訳（メタデータ） (2025-06-01T20:32:27Z) - Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Optimal design of experiments in the context of machine-learning inter-atomic potentials: improving the efficiency and transferability of kernel based methods [0.7234862895932991]
原子間相互作用のデータ駆動機械学習(ML)モデルは、原子配列のニュアンスな側面をエネルギーと力の予測に関連付けることができる。
主な課題は、化学環境のディスクリプタが、よく明確に定義された連続計量のない高次元の物体であるという事実に起因している。
実験の統計的計画と最適設計の古典的な概念は、そのような問題を比較的低い計算コストで緩和するのに役立つことを実証する。
論文 参考訳（メタデータ） (2024-05-14T14:14:23Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Learning-based adaption of robotic friction models [50.72489248401199]
我々は、可能な限り少ないデータを用いて、既存の摩擦モデルを新しいダイナミクスに適用するための新しいアプローチを導入する。
本手法はトレーニング中に外部負荷を伴うデータに依存しないため,外部トルクセンサは不要である。
論文 参考訳（メタデータ） (2023-10-25T14:50:15Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳（メタデータ） (2022-12-14T17:34:11Z) - Data efficient surrogate modeling for engineering design: Ensemble-free
batch mode deep active learning for regression [0.6021787236982659]
そこで本研究では,学生と教師の共用で,サロゲートモデルを学習するための,シンプルでスケーラブルな学習手法を提案する。
提案手法を用いることで,DBALやモンテカルロサンプリングのような他のベースラインと同レベルのサロゲート精度が得られる。
論文 参考訳（メタデータ） (2022-11-16T02:31:57Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - A Meta-learning Approach to Reservoir Computing: Time Series Prediction
with Limited Data [0.0]
本研究では,実験プロセスから適切なモデル構造を自動的に抽出するデータ駆動型手法を提案する。
簡単なベンチマーク問題に対して,我々のアプローチを実証する。
論文 参考訳（メタデータ） (2021-10-07T18:23:14Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - A probabilistic generative model for semi-supervised training of
coarse-grained surrogates and enforcing physical constraints through virtual
observables [3.8073142980733]
本稿では、トレーニング目的と代理モデル自体の両方において、物理的構造と情報を考慮した柔軟な確率的フレームワークを提供する。
我々は、物理から得られる等式を仮想観測可能なものとして導入し、その可能性を通じて追加情報を提供する確率論的モデルを提案する。
論文 参考訳（メタデータ） (2020-06-02T17:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。