論文の概要: Iterative Pretraining Framework for Interatomic Potentials

• arxiv url: http://arxiv.org/abs/2507.20118v1
• Date: Sun, 27 Jul 2025 03:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.973927
• Title: Iterative Pretraining Framework for Interatomic Potentials
• Title（参考訳）: 原子間ポテンシャルの反復的事前学習フレームワーク
• Authors: Taoyong Cui, Zhongyao Wang, Dongzhan Zhou, Yuqiang Li, Lei Bai, Wanli Ouyang, Mao Su, Shufei Zhang,
• Abstract要約: MLIPモデルの予測性能を向上させるために, 原子間ポテンシャルの反復事前学習(IPIP)を提案する。 IPIPは、反復訓練が最適な局所最小値に収束するのを防ぐための、忘れるメカニズムを組み込んでいる。 汎用力場と比較すると,Mo-S-Oシステムでは予測誤差が80%以上減少し,最大4倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 46.53683458224917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning interatomic potentials (MLIPs) enable efficient molecular dynamics (MD) simulations with ab initio accuracy and have been applied across various domains in physical science. However, their performance often relies on large-scale labeled training data. While existing pretraining strategies can improve model performance, they often suffer from a mismatch between the objectives of pretraining and downstream tasks or rely on extensive labeled datasets and increasingly complex architectures to achieve broad generalization. To address these challenges, we propose Iterative Pretraining for Interatomic Potentials (IPIP), a framework designed to iteratively improve the predictive performance of MLIP models. IPIP incorporates a forgetting mechanism to prevent iterative training from converging to suboptimal local minima. Unlike general-purpose foundation models, which frequently underperform on specialized tasks due to a trade-off between generality and system-specific accuracy, IPIP achieves higher accuracy and efficiency using lightweight architectures. Compared to general-purpose force fields, this approach achieves over 80% reduction in prediction error and up to 4x speedup in the challenging Mo-S-O system, enabling fast and accurate simulations.
• Abstract（参考訳）: 機械学習原子間ポテンシャル(MLIP)は、アブ初期精度で効率的な分子動力学(MD)シミュレーションを可能にし、物理科学の様々な領域に応用されている。 しかし、そのパフォーマンスは大規模なラベル付きトレーニングデータに依存することが多い。 既存の事前トレーニング戦略はモデルパフォーマンスを改善することができるが、それらは、事前トレーニングと下流タスクの目的のミスマッチに悩まされる場合が多い。 これらの課題に対処するために,MLIPモデルの予測性能を反復的に改善するフレームワークであるIterative Pretraining for Interatomic potentials (IPIP)を提案する。 IPIPは、反復訓練が最適な局所最小値に収束するのを防ぐための、忘れるメカニズムを組み込んでいる。 汎用ファウンデーションモデルは、汎用性とシステム固有の精度のトレードオフにより、しばしば特殊タスクにおいて過小評価されるが、IPIPは軽量アーキテクチャを用いて高い精度と効率を達成する。 汎用力場と比較して,本手法は,Mo-S-O系における予測誤差の80%以上と最大4倍の高速化を実現し,高速かつ高精度なシミュレーションを実現する。

関連論文リスト

• U-PINet: End-to-End Hierarchical Physics-Informed Learning With Sparse Graph Coupling for 3D EM Scattering Modeling [28.64166932076228]
  電磁波散乱モデリングは、レーダーリモートセンシングに不可欠である。 従来の数値解法は精度が高いが、スケーラビリティの問題と計算コストに悩まされている。 これらの制約を克服するために,U字型物理情報ネットワーク (U-PINet) を提案する。
  論文  参考訳（メタデータ） (2025-08-05T12:20:42Z)
• PMNO: A novel physics guided multi-step neural operator predictor for partial differential equations [23.04840527974364]
  本稿では,複雑な物理系の長期予測における課題に対処する物理誘導多段階ニューラル演算子(PMNO)アーキテクチャを提案する。 PMNOフレームワークは、シングルステップ入力をフォワードパス内の複数ステップの履歴データに置き換え、バックプロパゲーション中に暗黙のタイムステッピングスキームを導入する。 様々な物理系におけるPMNO予測器の優れた予測性能を示す。
  論文  参考訳（メタデータ） (2025-06-02T12:33:50Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• A Multi-Fidelity Graph U-Net Model for Accelerated Physics Simulations [1.2430809884830318]
  本稿では,GNNモデルの性能向上のための多元性手法の利点を生かした,新しいGNNアーキテクチャであるMulti-Fidelity U-Netを提案する。 提案手法は精度とデータ要求において有意に優れた性能を示すことを示す。 また,提案アーキテクチャの高速バージョンであるMulti-Fidelity U-Net Liteを35%高速化し,精度を2～5%削減した。
  論文  参考訳（メタデータ） (2024-12-19T20:09:38Z)
• The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains [4.340917737559795]
  ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングに関する研究 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 我々は、スケーリング用に設計されたNNIPアーキテクチャを開発する: 効率よくスケールされた意識的原子間ポテンシャル(EScAIP)
  論文  参考訳（メタデータ） (2024-10-31T17:35:57Z)
• Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
  機械学習型原子間ポテンシャル(MLIP)のトレーニングのための物理インフォームド・弱教師付きアプローチを導入する。 我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。 我々のアプローチは、スパースで高精度なアブ・イニシアチブデータに基づく基礎モデルの微調整を改善する。
  論文  参考訳（メタデータ） (2024-07-23T12:49:04Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality [0.0]
  この研究は、Mixed-Integer Programmingに固有の計算複雑性に対処するフレームワークを導入する。 ディープラーニングを利用することで、MIPインスタンス間の共通構造を特定し、活用する問題固有モデルを構築する。 本稿では,モデルの堅牢性と一般化性を高める合成データを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T19:15:13Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Adversarial Self-Attention for Language Understanding [89.265747130584]
  本稿では,textitAdversarial Self-Attention Mechanism (ASA)を提案する。 ASAはトランスフォーマーの注意を逆向きに再構築し、汚染されたモデル構造からのモデルトレーニングを促進する。 微調整の場合、ASAを動力とするモデルは、一般化とロバスト性の両方を考慮すると、単純モデルよりも常に大きなマージンで勝る。
  論文  参考訳（メタデータ） (2022-06-25T09:18:10Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。