論文の概要: Efficient LSTM Training with Eligibility Traces

• arxiv url: http://arxiv.org/abs/2209.15502v1
• Date: Fri, 30 Sep 2022 14:47:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 16:19:46.964460
• Title: Efficient LSTM Training with Eligibility Traces
• Title（参考訳）: 良性トレースを用いた効率的なLSTMトレーニング
• Authors: Michael Hoyer, Shahram Eivazi, Sebastian Otte
• Abstract要約: リカレントニューラルネットワークのトレーニングは、時間によるバックプロパゲーション(BPTT)によって主に達成される BPTTのより効率的で生物学的に有望な代替手段はe-propである。 教師あり学習のための2つのベンチマークにおいて,e-prop は BPTT と比較することにより,LSTM に適した最適化アルゴリズムであることを示す。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training recurrent neural networks is predominantly achieved via backpropagation through time (BPTT). However, this algorithm is not an optimal solution from both a biological and computational perspective. A more efficient and biologically plausible alternative for BPTT is e-prop. We investigate the applicability of e-prop to long short-term memorys (LSTMs), for both supervised and reinforcement learning (RL) tasks. We show that e-prop is a suitable optimization algorithm for LSTMs by comparing it to BPTT on two benchmarks for supervised learning. This proves that e-prop can achieve learning even for problems with long sequences of several hundred timesteps. We introduce extensions that improve the performance of e-prop, which can partially be applied to other network architectures. With the help of these extensions we show that, under certain conditions, e-prop can outperform BPTT for one of the two benchmarks for supervised learning. Finally, we deliver a proof of concept for the integration of e-prop to RL in the domain of deep recurrent Q-learning.
• Abstract（参考訳）: リカレントニューラルネットワークのトレーニングは、主に時間によるバックプロパゲーション(BPTT)を通じて行われる。 しかし、このアルゴリズムは生物学的および計算的観点からの最適解ではない。 BPTTのより効率的で生物学的に有望な代替手段はe-propである。 本稿では,長期記憶へのe-prop to long short-term memorys(LSTM)の適用性について検討する。 教師あり学習のための2つのベンチマークでBPTTと比較することにより,e-propはLSTMに適した最適化アルゴリズムであることを示す。 これは、数百の時間ステップの長いシーケンスを持つ問題であっても、e-propが学習を実現できることを証明している。 我々は,他のネットワークアーキテクチャにも部分的に適用可能なe-propの性能を向上させる拡張を導入する。 これらの拡張の助けを借りて、ある条件下では、e-propは教師付き学習のための2つのベンチマークのうちの1つにおいてBPTTよりも優れていることを示す。 最後に,e-prop と rl を深く再帰的な q-learning の領域に統合するための概念実証を行う。

関連論文リスト

• PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks [1.9424018922013226]
  PropNEAT は NEAT の高速なバックプロパゲーション実装であり、ゲノムグラフから層ベースのアーキテクチャへの双方向マッピングを利用する。 我々はPenn Machine Learning Benchmarksデータベースから58のバイナリ分類データセット上でPropNEATをテストする。
  論文  参考訳（メタデータ） (2024-11-06T07:44:14Z)
• Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation [8.683798989767771]
  最近の知見は、ディープスパイキングニューラルネットワーク(SNN)のトレーニングにおいて、レートコーディングが代理段階に基づくバックプロパゲーション・アット・タイム(BPTT)によって取得される情報表現の第一形態であることを明らかにしている。 本稿では、BPTTの複雑さを軽減するために、レートベースの表現を活用するために特別に設計されたトレーニング戦略である、レートベースのバックプロパゲーションを提案する。 提案手法は,SNNの学習におけるメモリと計算要求を減らすために,計算グラフの合理化を図り,平均的ダイナミクスに焦点をあてることで,詳細な時間微分への依存を最小限に抑える。
  論文  参考訳（メタデータ） (2024-10-15T10:46:03Z)
• AUCSeg: AUC-oriented Pixel-level Long-tail Semantic Segmentation [88.50256898176269]
  画素レベルのAUC損失関数を開発し,アルゴリズムの一般化能力に関する依存性グラフに基づく理論的解析を行う。 また、重要なメモリ需要を管理するために、Tail-Classes Memory Bankを設計する。
  論文  参考訳（メタデータ） (2024-09-30T15:31:02Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• A Taxonomy of Recurrent Learning Rules [1.4186974630564675]
  時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングにおけるデファクトスタンダードである E-propはこれらのアルゴリズムの因果的、局所的で効率的な代替案として提案された。 BPTT から RTRL を導出し,直観的・明確化を図った。
  論文  参考訳（メタデータ） (2022-07-23T07:03:42Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations [15.659251804042748]
  Woodpecker-DL (WPK) はハードウェア対応のディープラーニングフレームワークである。 WPKは、グラフ最適化、自動検索、ドメイン固有言語(DSL)、システムレベルの探索を使って推論を高速化する。 最大P100 GPUでは、cuDNNが5.40、TVMが1.63、エンドツーエンドモデル推論がTeslaRTより1.18倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。