論文の概要: Data efficiency and extrapolation trends in neural network interatomic
potentials
- arxiv url: http://arxiv.org/abs/2302.05823v1
- Date: Sun, 12 Feb 2023 00:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 18:26:23.931940
- Title: Data efficiency and extrapolation trends in neural network interatomic
potentials
- Title(参考訳): ニューラルネットワークの原子間ポテンシャルにおけるデータ効率と外挿傾向
- Authors: Joshua A. Vita, Daniel Schwalbe-Koda
- Abstract要約: ニューラルネットワーク間ポテンシャル(NNIP)のトレーニング容易性と一般化誤差に及ぼすアーキテクチャ選択の影響について検討する。
現代のNNIPアーキテクチャは、ラベルの劣化を訓練しても、トレーニングデータの基盤となるポテンシャルエネルギー面(PES)を回復することを示す。
このプローブを用いて,類似の精度測定値を持つNNIPが外挿能力が異なる理由を説明する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Over the last few years, key architectural advances have been proposed for
neural network interatomic potentials (NNIPs), such as incorporating
message-passing networks, equivariance, or many-body expansion terms. Although
modern NNIP models exhibit nearly negligible differences in energy/forces
errors, improvements in accuracy are still considered the main target when
developing new NNIP architectures. In this work, we investigate how
architectural choices influence the trainability and generalization error in
NNIPs, revealing trends in extrapolation, data efficiency, and loss landscapes.
First, we show that modern NNIP architectures recover the underlying potential
energy surface (PES) of the training data even when trained to corrupted
labels. Second, generalization metrics such as errors on high-temperature
samples from the 3BPA dataset are demonstrated to follow a scaling relation for
a variety of models. Thus, improvements in accuracy metrics may not bring
independent information on the robust generalization of NNIPs. To circumvent
this problem, we relate loss landscapes to model generalization across
datasets. Using this probe, we explain why NNIPs with similar accuracy metrics
exhibit different abilities to extrapolate and how training to forces improves
the optimization landscape of a model. As an example, we show that MACE can
predict PESes with reasonable error after being trained to as few as five data
points, making it an example of a "few-shot" model for learning PESes. On the
other hand, models with similar accuracy metrics such as NequIP show smaller
ability to extrapolate in this extremely low-data regime. Our work provides a
deep learning justification for the performance of many common NNIPs, and
introduces tools beyond accuracy metrics that can be used to inform the
development of next-generation models.
- Abstract(参考訳): 近年,nnips(neural network interatomic potentials)において,メッセージパッシングネットワーク,等価性,多体拡張といった重要なアーキテクチャ上の進歩が提案されている。
現代のNNIPモデルは、エネルギー/力の誤差のほとんど無視できる違いを示すが、新しいNNIPアーキテクチャを開発する際には、精度の改善が主要なターゲットであると考えられている。
本研究では,nnipsのトレーサビリティと一般化誤差にアーキテクチャの選択が与える影響について検討し,外挿,データ効率,ロスランドスケープの傾向を明らかにする。
まず、現代のNNIPアーキテクチャは、ラベルの劣化を訓練しても、トレーニングデータの基盤となるポテンシャルエネルギー面(PES)を回復することを示す。
第2に、3BPAデータセットからの高温試料の誤差などの一般化メトリクスを、様々なモデルのスケーリング関係に従うように示す。
したがって、精度指標の改善はNNIPの堅牢な一般化に関する独立した情報をもたらすものではない。
この問題を回避するため、データセットをまたいだモデル一般化にロスランドスケープを関連付ける。
このプローブを用いて、類似の精度測定値を持つNNIPが外挿能力が異なる理由と、モデルの最適化環境を改善するためのトレーニング方法を説明する。
例として,5つのデータポイントにトレーニングされた後に,適切な誤りでPSEを予測できることを示し,PSEを学習するための「ファウショット」モデルの例を示す。
一方、NequIPのような類似の精度の指標を持つモデルでは、この極めて低いデータ構造で外挿する能力は小さくなっている。
我々の研究は、多くの共通NNIPの性能に関する深い学習の正当性を提供し、次世代モデルの開発を知らせるために使用できる精度測定以上のツールを導入しています。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - On the Generalization of PINNs outside the training domain and the
Hyperparameters influencing it [1.3927943269211593]
PINNは、解データを必要としない微分方程式の解をエミュレートするように訓練されたニューラルネットワークアーキテクチャである。
トレーニング領域外におけるPINN予測の挙動を実証分析する。
PINNのアルゴリズム設定が一般化のポテンシャルに影響を及ぼすかどうかを評価し,予測に対する各効果を示す。
論文 参考訳(メタデータ) (2023-02-15T09:51:56Z) - PINN Training using Biobjective Optimization: The Trade-off between Data
Loss and Residual Loss [0.0]
物理情報ニューラルネットワーク(PINN)は、測定データが利用可能な問題を表現するための効率的なツールであることが証明されている。
本稿では、データ損失と残留損失を2つの個別目的関数として扱うことにより、PINNのトレーニングにおける多目的視点を提案する。
論文 参考訳(メタデータ) (2023-02-03T15:27:50Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。
我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。
VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文 参考訳(メタデータ) (2022-05-31T15:04:43Z) - Probabilistic AutoRegressive Neural Networks for Accurate Long-range
Forecasting [6.295157260756792]
確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。
PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。
本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
論文 参考訳(メタデータ) (2022-04-01T17:57:36Z) - Robust Learning of Physics Informed Neural Networks [2.86989372262348]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式の解法に有効であることが示されている。
本稿では、PINNがトレーニングデータのエラーに敏感であり、これらのエラーをPDEの解領域上で動的に伝播させるのに過度に適合していることを示す。
論文 参考訳(メタデータ) (2021-10-26T00:10:57Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized
Neural Network Inference [2.249916681499244]
本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。
これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
論文 参考訳(メタデータ) (2020-04-10T16:10:24Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。