論文の概要: Overcoming systematic softening in universal machine learning interatomic potentials by fine-tuning
- arxiv url: http://arxiv.org/abs/2405.07105v1
- Date: Sat, 11 May 2024 22:30:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 18:18:14.095752
- Title: Overcoming systematic softening in universal machine learning interatomic potentials by fine-tuning
- Title（参考訳）: 微調整による普遍的機械学習間ポテンシャルの系統的軟化の克服
- Authors: Bowen Deng, Yunyeong Choi, Peichen Zhong, Janosh Riebesell, Shashwat Anand, Zhuohan Li, KyuJung Jun, Kristin A. Persson, Gerbrand Ceder,
- Abstract要約: 機械学習原子間ポテンシャル(MLIP)は原子シミュレーションの新しいパラダイムを導入した。
近年,多種多様な資料データセットで事前学習したユニバーサルMLIP(uMLIP)が出現している。
分布外の複雑な原子環境に対する外挿性能はいまだに不明である。
- 参考スコア（独自算出の注目度）: 3.321322648845526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning interatomic potentials (MLIPs) have introduced a new paradigm for atomic simulations. Recent advancements have seen the emergence of universal MLIPs (uMLIPs) that are pre-trained on diverse materials datasets, providing opportunities for both ready-to-use universal force fields and robust foundations for downstream machine learning refinements. However, their performance in extrapolating to out-of-distribution complex atomic environments remains unclear. In this study, we highlight a consistent potential energy surface (PES) softening effect in three uMLIPs: M3GNet, CHGNet, and MACE-MP-0, which is characterized by energy and force under-prediction in a series of atomic-modeling benchmarks including surfaces, defects, solid-solution energetics, phonon vibration modes, ion migration barriers, and general high-energy states. We find that the PES softening behavior originates from a systematic underprediction error of the PES curvature, which derives from the biased sampling of near-equilibrium atomic arrangements in uMLIP pre-training datasets. We demonstrate that the PES softening issue can be effectively rectified by fine-tuning with a single additional data point. Our findings suggest that a considerable fraction of uMLIP errors are highly systematic, and can therefore be efficiently corrected. This result rationalizes the data-efficient fine-tuning performance boost commonly observed with foundational MLIPs. We argue for the importance of a comprehensive materials dataset with improved PES sampling for next-generation foundational MLIPs.
- Abstract（参考訳）: 機械学習原子間ポテンシャル(MLIP)は原子シミュレーションの新しいパラダイムを導入した。
近年、多様な素材データセットで事前訓練されたユニバーサルMLIP(uMLIP)が出現し、使用可能なユニバーサルフォースフィールドと、下流機械学習の強化のための堅牢な基盤の両方の機会を提供している。
しかし、分布外の複雑な原子環境への外挿性能は未だ不明である。
本研究では,M3GNet,CHGNet,MACE-MP-0の3つのUMLIPにおける一貫したポテンシャルエネルギー表面 (PES) 軟化効果を明らかにする。
PES軟化挙動は,uMLIP事前学習データセットにおける近似原子配列のバイアスサンプリングから導かれるPSS曲率の系統的下降誤差から導かれる。
我々は,PSS軟化問題を1つの追加データポイントで微調整することで,効果的に修正できることを実証した。
以上の結果より, uMLIP エラーのかなりの部分が高度に体系的であり, 効率よく修正可能であることが示唆された。
この結果は、基本MLIPでよく見られるデータ効率の良い微調整性能の向上を合理化する。
次世代MLIPのためのPESサンプリングを改良した包括的資料データセットの重要性を論じる。
関連論文リスト
- DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-02-18T02:37:26Z) - Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。
大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文 参考訳（メタデータ） (2025-01-24T20:39:38Z) - MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。
我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。
MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
論文 参考訳（メタデータ） (2025-01-18T13:54:00Z) - Materials Learning Algorithms (MALA): Scalable Machine Learning for Electronic Structure Calculations in Large-Scale Atomistic Simulations [2.04071520659173]
本稿では,大規模原子論シミュレーションに適したスケーラブルな機械学習フレームワークであるMaterial Learning Algorithms (MALA)パッケージを提案する。
MALAモデルは、状態の局所密度、電子密度、状態の密度、総エネルギーを含む重要な電子観測物を効率的に予測する。
我々は, ホウ素クラスター, 固液相境界を横切るアルミニウム, 大型ベリリウムスラブの積層断層の電子構造を予測した例でMALAの機能を示す。
論文 参考訳（メタデータ） (2024-11-29T11:10:29Z) - Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。
一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文 参考訳（メタデータ） (2024-11-17T01:16:37Z) - EPi-cKANs: Elasto-Plasticity Informed Kolmogorov-Arnold Networks Using Chebyshev Polynomials [0.0]
チェビシェフ型ネットワーク(EPi-cKAN)のエラスト可塑性について述べる。
EPi-cKANは、応力成分の予測に優れた精度を提供し、ブラインド三軸軸対称のひずみ制御荷重経路下での砂弾塑性挙動の予測に使用する場合、より良い精度を示す。
論文 参考訳（メタデータ） (2024-10-12T16:01:38Z) - Interpolation and differentiation of alchemical degrees of freedom in machine learning interatomic potentials [0.980222898148295]
原子性物質シミュレーションにおける連続的および微分可能なアルケミカル自由度の利用について報告する。
提案手法は,MLIPのメッセージパッシングおよび読み出し機構の変更とともに,対応する重みを持つアルケミカル原子を入力グラフに導入する。
MLIPのエンドツーエンドの微分可能性により、構成重みに対するエネルギー勾配の効率的な計算が可能となる。
論文 参考訳（メタデータ） (2024-04-16T17:24:22Z) - EL-MLFFs: Ensemble Learning of Machine Leaning Force Fields [1.8367772188990783]
機械学習力場(MLFF)は、量子力学的手法の精度を橋渡しするための有望なアプローチとして登場した。
本稿では,多種多様なMLFFからの予測を統合するため,階層化手法を利用した新しいアンサンブル学習フレームワークEL-MLFFを提案する。
我々は,Cu(100)表面に吸着したメタン分子とメタノールの2つの異なるデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2024-03-26T09:09:40Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-21T12:07:04Z) - Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。
近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
論文 参考訳（メタデータ） (2022-05-31T22:28:34Z) - Automated discovery of a robust interatomic potential for aluminum [4.6028828826414925]
機械学習(ML)ベースのポテンシャルは、量子力学(QM)計算の忠実なエミュレーションを、計算コストを大幅に削減することを目的としている。
アクティブラーニング(AL)の原理を用いたデータセット構築のための高度に自動化されたアプローチを提案する。
アルミニウム(ANI-Al)のMLポテンシャル構築によるこのアプローチの実証
転写性を示すために、1.3M原子衝撃シミュレーションを行い、非平衡力学から採取した局所原子環境上でのDFT計算とANI-Al予測がよく一致することを示す。
論文 参考訳（メタデータ） (2020-03-10T19:06:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。