論文の概要: A Novel Neural Network Training Framework with Data Assimilation
- arxiv url: http://arxiv.org/abs/2010.02626v1
- Date: Tue, 6 Oct 2020 11:12:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:36:25.226370
- Title: A Novel Neural Network Training Framework with Data Assimilation
- Title（参考訳）: データ同化を用いた新しいニューラルネットワークトレーニングフレームワーク
- Authors: Chong Chen, Qinghui Xing, Xin Ding, Yaru Xue, Tianfu Zhong
- Abstract要約: 勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。
その結果,提案手法は勾配法よりも優れた性能を示した。
- 参考スコア（独自算出の注目度）: 2.948167339160823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the prosperity of deep learning has revolutionized the
Artificial Neural Networks. However, the dependence of gradients and the
offline training mechanism in the learning algorithms prevents the ANN for
further improvement. In this study, a gradient-free training framework based on
data assimilation is proposed to avoid the calculation of gradients. In data
assimilation algorithms, the error covariance between the forecasts and
observations is used to optimize the parameters. Feedforward Neural Networks
(FNNs) are trained by gradient decent, data assimilation algorithms (Ensemble
Kalman Filter (EnKF) and Ensemble Smoother with Multiple Data Assimilation
(ESMDA)), respectively. ESMDA trains FNN with pre-defined iterations by
updating the parameters using all the available observations which can be
regard as offline learning. EnKF optimize FNN when new observation available by
updating parameters which can be regard as online learning. Two synthetic cases
with the regression of a Sine Function and a Mexican Hat function are assumed
to validate the effectiveness of the proposed framework. The Root Mean Square
Error (RMSE) and coefficient of determination (R2) are used as criteria to
assess the performance of different methods. The results show that the proposed
training framework performed better than the gradient decent method. The
proposed framework provides alternatives for online/offline training the
existing ANNs (e.g., Convolutional Neural Networks, Recurrent Neural Networks)
without the dependence of gradients.
- Abstract（参考訳）: 近年、ディープラーニングの繁栄は、ニューラルネットワークに革命をもたらした。
しかし、学習アルゴリズムにおける勾配の依存性とオフライントレーニング機構により、ANNがさらなる改善を妨げている。
本研究では,勾配の計算を避けるために,データ同化に基づく勾配フリートレーニングフレームワークを提案する。
データ同化アルゴリズムでは、予測と観測の間の誤差共分散を用いてパラメータを最適化する。
フィードフォワードニューラルネットワーク(FNN)は、それぞれグラデーションリーなデータ同化アルゴリズム(Ensemble Kalman Filter(EnKF)とEnsemble Smoother with Multiple Data Assimilation(ESMDA))によって訓練される。
ESMDAは、オフライン学習とみなすことのできるすべての観測値を使ってパラメータを更新することで、FNNを事前定義されたイテレーションでトレーニングする。
EnKFは、オンライン学習とみなすパラメータを更新することで、新しい観察が可能になったときにFNNを最適化する。
Sine 関数と Mexican Hat 関数の回帰を伴う2つの合成ケースを仮定し,提案手法の有効性を検証した。
異なる手法の性能を評価する基準として、ルート平均角誤差(RMSE)と決定係数(R2)が用いられる。
その結果,提案手法は,グラデーションの適度な方法よりも優れた性能を示した。
提案されたフレームワークは、勾配に依存することなく、既存のann(畳み込みニューラルネットワーク、リカレントニューラルネットワーク)をオンライン/オフラインでトレーニングするための代替手段を提供する。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳（メタデータ） (2022-03-25T17:13:08Z) - FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。
FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
論文 参考訳（メタデータ） (2021-11-22T17:23:34Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning
Convergence Analysis [27.022551495550676]
本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。
理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
論文 参考訳（メタデータ） (2021-05-11T13:05:53Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。