Fugu-MT 論文翻訳(概要): A Taxonomy of Recurrent Learning Rules

論文の概要: A Taxonomy of Recurrent Learning Rules

arxiv url: http://arxiv.org/abs/2207.11439v2
Date: Tue, 08 Oct 2024 15:29:00 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-10 16:16:13.243232
Title: A Taxonomy of Recurrent Learning Rules
Title（参考訳）: 反復学習規則の分類
Authors: Guillermo Martín-Sánchez, Sander Bohté, Sebastian Otte,
Abstract要約: 時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングにおけるデファクトスタンダードである E-propはこれらのアルゴリズムの因果的、局所的で効率的な代替案として提案された。 BPTT から RTRL を導出し,直観的・明確化を図った。
参考スコア（独自算出の注目度）: 1.4186974630564675
License:
Abstract: Backpropagation through time (BPTT) is the de facto standard for training recurrent neural networks (RNNs), but it is non-causal and non-local. Real-time recurrent learning is a causal alternative, but it is highly inefficient. Recently, e-prop was proposed as a causal, local, and efficient practical alternative to these algorithms, providing an approximation of the exact gradient by radically pruning the recurrent dependencies carried over time. Here, we derive RTRL from BPTT using a detailed notation bringing intuition and clarification to how they are connected. Furthermore, we frame e-prop within in the picture, formalising what it approximates. Finally, we derive a family of algorithms of which e-prop is a special case.
Abstract（参考訳）: 時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)をトレーニングするデファクトスタンダードであるが、非因果的であり、非局所的である。リアルタイム反復学習は因果的な代替手段であるが、非常に非効率である。近年、e-prop はこれらのアルゴリズムの因果的、局所的、効率的な代替手段として提案され、繰り返し発生する依存関係を時間とともに徹底的に刈り取ることによって、正確な勾配を近似した。本稿では, BPTT から RTRL を導出し, 直観的, 明確化を図った。さらに、画像内のe-propをフレーム化し、それが近似するものを定式化します。最後に、e-propが特別な場合であるアルゴリズムの族を導出する。

関連論文リスト

The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文参考訳（メタデータ） (2023-02-28T05:01:01Z)
Efficient LSTM Training with Eligibility Traces [0.5801044612920815]
リカレントニューラルネットワークのトレーニングは、時間によるバックプロパゲーション(BPTT)によって主に達成される BPTTのより効率的で生物学的に有望な代替手段はe-propである。教師あり学習のための2つのベンチマークにおいて,e-prop は BPTT と比較することにより,LSTM に適した最適化アルゴリズムであることを示す。
論文参考訳（メタデータ） (2022-09-30T14:47:04Z)
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions [20.531576904743282]
オフ政治推定バイアスは、決定ごとに補正される。 Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。任意の過去のトレースを許可するマルチステップ演算子を提案する。
論文参考訳（メタデータ） (2021-12-23T00:07:28Z)
Backpropagation Through Time For Networks With Long-Term Dependencies [0.0]
backpropagation through time(bptt)は、recurrent neural networks(rnn)内でチューニングされたパラメータを更新する技術である。本稿では,個別ループと複数ループの相互作用に対して,それぞれ「離散フォワード感度方程式」とその変種を用いることを提案する。このソリューションは正確であり、ネットワークのパラメータを次のステップごとに変更することができますが、Jacobianの計算が必要です。
論文参考訳（メタデータ） (2021-03-26T15:55:54Z)
Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文参考訳（メタデータ） (2020-12-16T20:16:28Z)
Temporal Surrogate Back-propagation for Spiking Neural Networks [2.291640606078406]
スパイキングニューラルネットワーク(SNN)は通常、ニューラルネットワーク(ANN)と比較してエネルギー効率が良い。バックプロパゲーション(BP)は近年、ANNのトレーニングにおいて強力な力を示している。しかし、スパイク挙動は微分不可能であるため、BPは直接SNNに適用することはできない。
論文参考訳（メタデータ） (2020-11-18T08:22:47Z)
Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文参考訳（メタデータ） (2020-09-11T11:56:34Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。