論文の概要: Efficient Real Time Recurrent Learning through combined activity and parameter sparsity

• arxiv url: http://arxiv.org/abs/2303.05641v1
• Date: Fri, 10 Mar 2023 01:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:36:50.382769
• Title: Efficient Real Time Recurrent Learning through combined activity and parameter sparsity
• Title（参考訳）: 活動とパラメータ空間の併用による実時間繰り返し学習の効率化
• Authors: Anand Subramoney
• Abstract要約: 時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングのための標準アルゴリズムである BPTTはオンライン学習には不適であり、低リソースのリアルタイムシステムの実装に挑戦している。 実時間再帰学習(RTRL)の計算コストを削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.5076419064097732
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backpropagation through time (BPTT) is the standard algorithm for training recurrent neural networks (RNNs), which requires separate simulation phases for the forward and backward passes for inference and learning, respectively. Moreover, BPTT requires storing the complete history of network states between phases, with memory consumption growing proportional to the input sequence length. This makes BPTT unsuited for online learning and presents a challenge for implementation on low-resource real-time systems. Real-Time Recurrent Learning (RTRL) allows online learning, and the growth of required memory is independent of sequence length. However, RTRL suffers from exceptionally high computational costs that grow proportional to the fourth power of the state size, making RTRL computationally intractable for all but the smallest of networks. In this work, we show that recurrent networks exhibiting high activity sparsity can reduce the computational cost of RTRL. Moreover, combining activity and parameter sparsity can lead to significant enough savings in computational and memory costs to make RTRL practical. Unlike previous work, this improvement in the efficiency of RTRL can be achieved without using any approximations for the learning process.
• Abstract（参考訳）: 時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)をトレーニングするための標準アルゴリズムであり、それぞれ推論と学習のために前方と後方のパスに別々のシミュレーションフェーズを必要とする。 さらにBPTTは、入力シーケンス長に比例してメモリ消費が増加するため、位相間のネットワーク状態の完全な履歴を保存する必要がある。 これによりBPTTはオンライン学習に適せず、低リソースのリアルタイムシステムの実装に挑戦する。 リアルタイムリカレント学習(rtrl)はオンライン学習を可能にし、必要なメモリの成長はシーケンス長に依存しない。 しかし、RTRLは、状態サイズの第4のパワーに比例して増大する非常に高い計算コストに悩まされ、最小のネットワークを除く全てのネットワークに対して計算的に難航する。 本研究では,高い活動空間を示すリカレントネットワークがRTRLの計算コストを低減できることを示す。 さらに、アクティビティとパラメータの間隔を組み合わせることで、RTRLを実用的なものにするために計算とメモリのコストを大幅に削減することができる。 従来の研究とは異なり、このRTRLの効率の改善は、学習プロセスの近似を使わずに達成できる。

関連論文リスト

• Real-Time Recurrent Reinforcement Learning [7.737685867200335]
  RTRRLは,(1)メタRL RNNアーキテクチャを独自に実装したアクター・クリティカルなアルゴリズム,(2)メタRLネットワークをトレーニングするために時間差分学習とダッチ適性トレースを利用する外部強化学習アルゴリズム,(3)ネットワークのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムであるRFLO学習の3つの部分から構成される。
  論文  参考訳（メタデータ） (2023-11-08T16:56:16Z)
• S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks [7.573297026523597]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当なモデルであり、エッジにエネルギー効率の良いインテリジェンスをデプロイするための候補として特定されている。 本稿では,S-TLLRを提案する。S-TLLRはスパイク・タイミング依存塑性(STDP)機構にインスパイアされた新しい3要素時間的局所学習法である。 S-TLLRは、メモリと時間の複雑さが低く、時間ステップの数に依存しないように設計されており、低消費電力エッジデバイス上でのオンライン学習に適している。
  論文  参考訳（メタデータ） (2023-06-27T05:44:56Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Scalable Real-Time Recurrent Learning Using Columnar-Constructive Networks [19.248060562241296]
  リアルタイム反復学習をスケーラブルにする2つの制約を提案する。 ネットワークを独立したモジュールに分解するか、段階的にネットワークを学習することで、RTRLをパラメータ数と線形にスケールできることを示す。 本稿では,動物学習とアタリ2600ゲームに対する事前学習ポリシーのポリシー評価により,Trncated-BPTTに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-20T23:17:48Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data [35.36703623383735]
  強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。 しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。 本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:17:26Z)
• Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
  風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。 我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。 提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
  論文  参考訳（メタデータ） (2021-07-01T13:13:24Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• A Practical Sparse Approximation for Real Time Recurrent Learning [38.19296522866088]
  Real Time Recurrent Learning (RTRL)は、履歴ストレージの必要性をなくし、オンラインの重み更新を可能にする。 RTRL 影響行列に Sparse n-step Approximation (SnAp) を導入する。 高度にスパースなネットワークでは、n=2のSnApは引き続きトラクタブルであり、更新がオンラインで行われる場合の学習速度において、時間を通してバックプロパゲーションを上回ります。
  論文  参考訳（メタデータ） (2020-06-12T14:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。