論文の概要: R-FORCE: Robust Learning for Random Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2003.11660v1
- Date: Wed, 25 Mar 2020 22:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:38:55.475568
- Title: R-FORCE: Robust Learning for Random Recurrent Neural Networks
- Title（参考訳）: R-FORCE:ランダムリカレントニューラルネットワークのためのロバスト学習
- Authors: Yang Zheng, Eli Shlizerman
- Abstract要約: RRNNのロバスト性を高めるためのロバストトレーニング手法を提案する。
FORCE学習アプローチは、目標学習の課題にも適用可能であることが示された。
実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
- 参考スコア（独自算出の注目度）: 6.285241353736006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random Recurrent Neural Networks (RRNN) are the simplest recurrent networks
to model and extract features from sequential data. The simplicity however
comes with a price; RRNN are known to be susceptible to diminishing/exploding
gradient problem when trained with gradient-descent based optimization. To
enhance robustness of RRNN, alternative training approaches have been proposed.
Specifically, FORCE learning approach proposed a recursive least squares
alternative to train RRNN and was shown to be applicable even for the
challenging task of target-learning, where the network is tasked with
generating dynamic patterns with no guiding input. While FORCE training
indicates that solving target-learning is possible, it appears to be effective
only in a specific regime of network dynamics (edge-of-chaos). We thereby
investigate whether initialization of RRNN connectivity according to a tailored
distribution can guarantee robust FORCE learning. We are able to generate such
distribution by inference of four generating principles constraining the
spectrum of the network Jacobian to remain in stability region. This
initialization along with FORCE learning provides a robust training method,
i.e., Robust-FORCE (R-FORCE). We validate R-FORCE performance on various target
functions for a wide range of network configurations and compare with
alternative methods. Our experiments indicate that R-FORCE facilitates
significantly more stable and accurate target-learning for a wide class of
RRNN. Such stability becomes critical in modeling multi-dimensional sequences
as we demonstrate on modeling time-series of human body joints during physical
movements.
- Abstract（参考訳）: ランダムリカレントニューラルネットワーク(RRNN)は、シーケンシャルデータから特徴をモデル化し抽出する最も単純なリカレントネットワークである。
RRNNは勾配差に基づく最適化の訓練で勾配問題を減らし、解き放つことができることが知られている。
rrnnの堅牢性を高めるために,代替訓練手法が提案されている。
特に、フォースラーニングのアプローチは、rrnnのトレーニングに代わる再帰的最小二乗法を提案し、ネットワークが入力を導くことなく動的パターンを生成することを任務とするターゲットラーニングの課題にも適用できることを示した。
FORCEトレーニングは、目標学習の解決が可能であることを示唆するが、それは特定のネットワークダイナミクス(エッジ・オブ・カオス)の状況においてのみ有効であるように見える。
これにより、RRNN接続の初期化がFORCE学習の堅牢性を保証することができるかを検討する。
我々は、ネットワークジャコビアンのスペクトルを安定領域に制限する4つの生成原理を推論することで、そのような分布を生成することができる。
この初期化とForce学習はロバストFORCE(R-FORCE)という堅牢なトレーニング手法を提供する。
ネットワーク構成の広い範囲において,様々な対象関数におけるr-force性能を検証し,代替手法との比較を行った。
実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
このような安定性は、身体運動中の人体関節の時系列をモデル化する上で、多次元シーケンスのモデリングにおいて極めて重要である。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳（メタデータ） (2022-05-26T19:01:19Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Spiking Generative Adversarial Networks With a Neural Network
Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。
この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
論文 参考訳（メタデータ） (2021-11-02T17:20:54Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳（メタデータ） (2021-01-22T10:45:40Z) - Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。
本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。
標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
論文 参考訳（メタデータ） (2020-07-23T10:03:58Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。