論文の概要: Data efficiency and extrapolation trends in neural network interatomic potentials

• arxiv url: http://arxiv.org/abs/2302.05823v2
• Date: Wed, 12 Apr 2023 23:25:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 20:14:18.603196
• Title: Data efficiency and extrapolation trends in neural network interatomic potentials
• Title（参考訳）: ニューラルネットワークの原子間ポテンシャルにおけるデータ効率と外挿傾向
• Authors: Joshua A. Vita, Daniel Schwalbe-Koda
• Abstract要約: ニューラルネットワーク間ポテンシャル(NNIP)の一般化にアーキテクチャと最適化がどう影響するかを示す。 NNIPにおけるテストエラーはスケーリング関係に従っており、ノイズに対して堅牢であるが、高精度なシステムではMD安定性を予測できないことを示す。 我々の研究は、多くの共通NNIPの補間性能に対する深い学習の正当性を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Over the last few years, key architectural advances have been proposed for neural network interatomic potentials (NNIPs), such as incorporating message-passing networks, equivariance, or many-body expansion terms. Although modern NNIP models exhibit small differences in energy/forces errors, improvements in accuracy are still considered the main target when developing new NNIP architectures. In this work, we show how architectural and optimization choices influence the generalization of NNIPs, revealing trends in molecular dynamics (MD) stability, data efficiency, and loss landscapes. Using the 3BPA dataset, we show that test errors in NNIP follow a scaling relation and can be robust to noise, but cannot predict MD stability in the high-accuracy regime. To circumvent this problem, we propose the use of loss landscape visualizations and a metric of loss entropy for predicting the generalization power of NNIPs. With a large-scale study on NequIP and MACE, we show that the loss entropy predicts out-of-distribution error and MD stability despite being computed only on the training set. Using this probe, we demonstrate how the choice of optimizers, loss function weighting, data normalization, and other architectural decisions influence the extrapolation behavior of NNIPs. Finally, we relate loss entropy to data efficiency, demonstrating that flatter landscapes also predict learning curve slopes. Our work provides a deep learning justification for the extrapolation performance of many common NNIPs, and introduces tools beyond accuracy metrics that can be used to inform the development of next-generation models.
• Abstract（参考訳）: 近年,nnips(neural network interatomic potentials)において,メッセージパッシングネットワーク,等価性,多体拡張といった重要なアーキテクチャ上の進歩が提案されている。 現代のNNIPモデルは、エネルギー/力の誤差が小さいが、新しいNNIPアーキテクチャを開発する際には、精度の向上が主なターゲットであると考えられている。 本稿では,nnipsの一般化にアーキテクチャと最適化の選択がどう影響するかを示し,分子動力学(md)の安定性,データ効率,ロスランドスケープの傾向を明らかにする。 3BPAデータセットを用いて、NNIPにおけるテストエラーはスケーリング関係に従い、ノイズに対して堅牢であるが、高精度なシステムではMD安定性を予測できないことを示す。 この問題を回避するために,NNIPの一般化能力を予測するために,損失景観の可視化と損失エントロピーの指標を用いることを提案する。 NequIP と MACE に関する大規模な研究により、損失エントロピーはトレーニングセットのみで計算されているにもかかわらず、分布外誤差とMD安定性を予測する。 本研究では,最適化器の選択,損失関数重み付け,データ正規化,その他のアーキテクチャ決定がNNIPの補間行動にどのように影響するかを示す。 最後に、損失エントロピーとデータ効率を関連付け、フラットな景観が学習曲線傾斜を予測することを実証する。 我々の研究は、多くの共通NNIPの補間性能の深層学習の正当性を提供し、次世代モデルの開発に有用な精度測定以上のツールを導入している。

関連論文リスト

• The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains [4.340917737559795]
  ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングに関する研究 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 我々は、スケーリング用に設計されたNNIPアーキテクチャを開発する: 効率よくスケールされた意識的原子間ポテンシャル(EScAIP)
  論文  参考訳（メタデータ） (2024-10-31T17:35:57Z)
• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• PINN Training using Biobjective Optimization: The Trade-off between Data Loss and Residual Loss [0.0]
  物理情報ニューラルネットワーク(PINN)は、測定データが利用可能な問題を表現するための効率的なツールであることが証明されている。 本稿では、データ損失と残留損失を2つの個別目的関数として扱うことにより、PINNのトレーニングにおける多目的視点を提案する。
  論文  参考訳（メタデータ） (2023-02-03T15:27:50Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• coVariance Neural Networks [119.45320143101381]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。 我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:04:43Z)
• Probabilistic AutoRegressive Neural Networks for Accurate Long-range Forecasting [6.295157260756792]
  確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。 PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。 本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-01T17:57:36Z)
• Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference [2.249916681499244]
  本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
  論文  参考訳（メタデータ） (2020-04-10T16:10:24Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。