論文の概要: Committee neural network potentials control generalization errors and enable active learning

• arxiv url: http://arxiv.org/abs/2006.01541v2
• Date: Tue, 20 Oct 2020 08:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 00:03:59.994123
• Title: Committee neural network potentials control generalization errors and enable active learning
• Title（参考訳）: 委員会ニューラルネットワーク電位による一般化誤りの制御とアクティブラーニングの実現
• Authors: Christoph Schran, Krystof Brezina, Ondrej Marsalek
• Abstract要約: 委員会モデルは精度を改善し、一般化誤差推定を提供し、アクティブな学習戦略を可能にする。 本研究では,これらの概念を人工ニューラルネットワークに基づく原子間ポテンシャルに適用する。 同一の原子環境記述子を共有する複数のモデルが、個々のメンバを上回る平均値をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known in the field of machine learning that committee models improve accuracy, provide generalization error estimates, and enable active learning strategies. In this work, we adapt these concepts to interatomic potentials based on artificial neural networks. Instead of a single model, multiple models that share the same atomic environment descriptors yield an average that outperforms its individual members as well as a measure of the generalization error in the form of the committee disagreement. We not only use this disagreement to identify the most relevant configurations to build up the model's training set in an active learning procedure, but also monitor and bias it during simulations to control the generalization error. This facilitates the adaptive development of committee neural network potentials and their training sets, while keeping the number of ab initio calculations to a minimum. To illustrate the benefits of this methodology, we apply it to the development of a committee model for water in the condensed phase. Starting from a single reference ab initio simulation, we use active learning to expand into new state points and to describe the quantum nature of the nuclei. The final model, trained on 814 reference calculations, yields excellent results under a range of conditions, from liquid water at ambient and elevated temperatures and pressures to different phases of ice, and the air-water interface - all including nuclear quantum effects. This approach to committee models will enable the systematic development of robust machine learning models for a broad range of systems.
• Abstract（参考訳）: 機械学習の分野では、委員会モデルが精度を改善し、一般化誤差推定を提供し、アクティブな学習戦略を可能にすることはよく知られている。 本研究では,これらの概念をニューラルネットワークに基づく原子間ポテンシャルに適用する。 単一のモデルではなく、同じアトミック環境記述子を共有する複数のモデルは、委員会の不一致の形での一般化誤差の尺度と同様に、個々のメンバーよりも優れた平均を与える。 この不一致を利用して、モデルのトレーニングセットをアクティブな学習手順で構築するための最も関連する構成を特定するだけでなく、一般化エラーを制御するためにシミュレーション中にそれを監視およびバイアスします。 これにより、ab initio計算の数を最小限に抑えながら、委員会ニューラルネットワークポテンシャルとそのトレーニングセットの適応開発が容易になる。 本手法の利点を説明するため, 凝縮相における水に関する委員会モデルの開発に本手法を適用した。 単一の参照abinitioシミュレーションから始めて、能動的学習を用いて新しい状態点に拡張し、核の量子的性質を記述する。 最終モデルは814の基準計算に基づいて訓練され、環境温度や高気圧の液体水から氷の異なる相、そして全ての核量子効果を含む空気-水界面まで、様々な条件下で優れた結果をもたらす。 委員会モデルに対するこのアプローチは、幅広いシステムの堅牢な機械学習モデルの体系的な開発を可能にする。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Data-Driven Prediction and Uncertainty Quantification of PWR Crud-Induced Power Shift Using Convolutional Neural Networks [2.147634833794939]
  Crud-induced Power Shift (CIPS) は加圧水炉の運用上の課題である。 本研究は、原子炉固有のキャリブレーションを組み込んだ組立レベルでCIPSインスタンスを予測するためのトップダウンアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-27T15:04:24Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Simple lessons from complex learning: what a neural network model learns about cosmic structure formation [7.270598539996841]
  我々は、宇宙論的N体シミュレーションの完全な位相空間進化を予測するためにニューラルネットワークモデルを訓練する。 本モデルでは, 非線形スケールでの精度を, COLAに対して有意な改善を示す$ksim 1 MathrmMpc-1, h$で達成する。
  論文  参考訳（メタデータ） (2022-06-09T15:41:09Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• KNODE-MPC: A Knowledge-based Data-driven Predictive Control Framework for Aerial Robots [5.897728689802829]
  我々は、知識に基づくニューラル常微分方程式(KNODE)というディープラーニングツールを用いて、第一原理から得られたモデルを拡張する。 得られたハイブリッドモデルは、名目上の第一原理モデルと、シミュレーションまたは実世界の実験データから学習したニューラルネットワークの両方を含む。 閉ループ性能を改善するため、ハイブリッドモデルはKNODE-MPCとして知られる新しいMPCフレームワークに統合される。
  論文  参考訳（メタデータ） (2021-09-10T12:09:18Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles [0.0]
  本研究では,物理状態の異なる統計物理学における問題に対して,完全に伝達可能な学習を実現するための教師なし学習手法を実証する。 逐次ニューラルネットワークに基づくシーケンスモデルを広範囲のディープニューラルネットワークに結合することにより、古典的な統計力学系の平衡確率分布と粒子間相互作用モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-03T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。