Fugu-MT 論文翻訳(概要): Training Algorithm Matters for the Performance of Neural Network Potential

論文の概要: Training Algorithm Matters for the Performance of Neural Network Potential

arxiv url: http://arxiv.org/abs/2109.03769v1
Date: Wed, 8 Sep 2021 16:48:33 GMT
ステータス: 処理完了
システム内更新日: 2021-09-09 14:16:21.707153
Title: Training Algorithm Matters for the Performance of Neural Network Potential
Title（参考訳）: ニューラルネットワークの性能向上のための学習アルゴリズム
Authors: Yunqi Shao, Florian M. Dietrich, Carl Nettelblad, Chao Zhang
Abstract要約: 適応モーメント推定アルゴリズム(Adam)と拡張カルマンフィルタアルゴリズム(EKF)の2つの人気トレーニングアルゴリズムの性能を比較した。その結果,EKFで訓練したNNPは,Adamと比較して伝達性が高く,学習率に敏感ではないことがわかった。
参考スコア（独自算出の注目度）: 4.774810604472842
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: One hidden yet important issue for developing neural network potentials (NNPs) is the choice of training algorithm. Here we compare the performance of two popular training algorithms, the adaptive moment estimation algorithm (Adam) and the extended Kalman filter algorithm (EKF), using the Behler-Parrinello neural network (BPNN) and two publicly accessible datasets of liquid water. It is found that NNPs trained with EKF are more transferable and less sensitive to the value of the learning rate, as compared to Adam. In both cases, error metrics of the test set do not always serve as a good indicator for the actual performance of NNPs. Instead, we show that their performance correlates well with a Fisher information based similarity measure.
Abstract（参考訳）: ニューラルネットワークポテンシャル(nnps)を開発する上で、隠れているが重要な問題はトレーニングアルゴリズムの選択である。ここでは,適応モーメント推定アルゴリズム (adam) と拡張カルマンフィルタアルゴリズム (ekf) の2つの一般的なトレーニングアルゴリズムの性能を比較する。その結果,EKFで訓練したNNPは,Adamと比較して伝達性が高く,学習率に敏感ではないことがわかった。どちらの場合も、テストセットのエラーメトリクスは、NNPの実際のパフォーマンスを示す指標として必ずしも役に立たない。その代わり,漁獲情報に基づく類似度尺度と,その性能が良好な相関関係にあることを示す。

関連論文リスト

Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文参考訳（メタデータ） (2024-08-08T16:48:33Z)
Efficient Deep Learning with Decorrelated Backpropagation [1.9731499060686393]
Decorrelated backpropagationを用いた非常に深いニューラルネットワークのより効率的なトレーニングが実現可能であることを初めて示します。我々は18層深層ネットワークのトレーニングにおいて,バックプロパゲーションに比べて2倍以上のスピードアップと高いテスト精度を得る。
論文参考訳（メタデータ） (2024-05-03T17:21:13Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
NP-Match: When Neural Processes meet Semi-Supervised Learning [133.009621275051]
半教師付き学習(SSL)は近年広く研究されており、ラベル付きデータへの依存を減らすためにラベル付きデータを活用する効果的な方法である。本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2022-07-03T15:24:31Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文参考訳（メタデータ） (2021-05-29T15:28:30Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文参考訳（メタデータ） (2020-06-14T20:00:25Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。