論文の概要: Data efficiency and extrapolation trends in neural network interatomic potentials

• arxiv url: http://arxiv.org/abs/2302.05823v1
• Date: Sun, 12 Feb 2023 00:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:26:23.931940
• Title: Data efficiency and extrapolation trends in neural network interatomic potentials
• Title（参考訳）: ニューラルネットワークの原子間ポテンシャルにおけるデータ効率と外挿傾向
• Authors: Joshua A. Vita, Daniel Schwalbe-Koda
• Abstract要約: ニューラルネットワーク間ポテンシャル(NNIP)のトレーニング容易性と一般化誤差に及ぼすアーキテクチャ選択の影響について検討する。 現代のNNIPアーキテクチャは、ラベルの劣化を訓練しても、トレーニングデータの基盤となるポテンシャルエネルギー面(PES)を回復することを示す。 このプローブを用いて,類似の精度測定値を持つNNIPが外挿能力が異なる理由を説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Over the last few years, key architectural advances have been proposed for neural network interatomic potentials (NNIPs), such as incorporating message-passing networks, equivariance, or many-body expansion terms. Although modern NNIP models exhibit nearly negligible differences in energy/forces errors, improvements in accuracy are still considered the main target when developing new NNIP architectures. In this work, we investigate how architectural choices influence the trainability and generalization error in NNIPs, revealing trends in extrapolation, data efficiency, and loss landscapes. First, we show that modern NNIP architectures recover the underlying potential energy surface (PES) of the training data even when trained to corrupted labels. Second, generalization metrics such as errors on high-temperature samples from the 3BPA dataset are demonstrated to follow a scaling relation for a variety of models. Thus, improvements in accuracy metrics may not bring independent information on the robust generalization of NNIPs. To circumvent this problem, we relate loss landscapes to model generalization across datasets. Using this probe, we explain why NNIPs with similar accuracy metrics exhibit different abilities to extrapolate and how training to forces improves the optimization landscape of a model. As an example, we show that MACE can predict PESes with reasonable error after being trained to as few as five data points, making it an example of a "few-shot" model for learning PESes. On the other hand, models with similar accuracy metrics such as NequIP show smaller ability to extrapolate in this extremely low-data regime. Our work provides a deep learning justification for the performance of many common NNIPs, and introduces tools beyond accuracy metrics that can be used to inform the development of next-generation models.
• Abstract（参考訳）: 近年,nnips(neural network interatomic potentials)において,メッセージパッシングネットワーク,等価性,多体拡張といった重要なアーキテクチャ上の進歩が提案されている。 現代のNNIPモデルは、エネルギー/力の誤差のほとんど無視できる違いを示すが、新しいNNIPアーキテクチャを開発する際には、精度の改善が主要なターゲットであると考えられている。 本研究では,nnipsのトレーサビリティと一般化誤差にアーキテクチャの選択が与える影響について検討し,外挿,データ効率,ロスランドスケープの傾向を明らかにする。 まず、現代のNNIPアーキテクチャは、ラベルの劣化を訓練しても、トレーニングデータの基盤となるポテンシャルエネルギー面(PES)を回復することを示す。 第2に、3BPAデータセットからの高温試料の誤差などの一般化メトリクスを、様々なモデルのスケーリング関係に従うように示す。 したがって、精度指標の改善はNNIPの堅牢な一般化に関する独立した情報をもたらすものではない。 この問題を回避するため、データセットをまたいだモデル一般化にロスランドスケープを関連付ける。 このプローブを用いて、類似の精度測定値を持つNNIPが外挿能力が異なる理由と、モデルの最適化環境を改善するためのトレーニング方法を説明する。 例として,5つのデータポイントにトレーニングされた後に,適切な誤りでPSEを予測できることを示し,PSEを学習するための「ファウショット」モデルの例を示す。 一方、NequIPのような類似の精度の指標を持つモデルでは、この極めて低いデータ構造で外挿する能力は小さくなっている。 我々の研究は、多くの共通NNIPの性能に関する深い学習の正当性を提供し、次世代モデルの開発を知らせるために使用できる精度測定以上のツールを導入しています。

関連論文リスト

• The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains [4.340917737559795]
  ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングに関する研究 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 我々は、スケーリング用に設計されたNNIPアーキテクチャを開発する: 効率よくスケールされた意識的原子間ポテンシャル(EScAIP)
  論文  参考訳（メタデータ） (2024-10-31T17:35:57Z)
• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• PINN Training using Biobjective Optimization: The Trade-off between Data Loss and Residual Loss [0.0]
  物理情報ニューラルネットワーク(PINN)は、測定データが利用可能な問題を表現するための効率的なツールであることが証明されている。 本稿では、データ損失と残留損失を2つの個別目的関数として扱うことにより、PINNのトレーニングにおける多目的視点を提案する。
  論文  参考訳（メタデータ） (2023-02-03T15:27:50Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• coVariance Neural Networks [119.45320143101381]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。 我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:04:43Z)
• Probabilistic AutoRegressive Neural Networks for Accurate Long-range Forecasting [6.295157260756792]
  確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。 PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。 本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-01T17:57:36Z)
• Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference [2.249916681499244]
  本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
  論文  参考訳（メタデータ） (2020-04-10T16:10:24Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。