論文の概要: Exploring the Promise and Limits of Real-Time Recurrent Learning

• arxiv url: http://arxiv.org/abs/2305.19044v3
• Date: Wed, 28 Feb 2024 16:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 12:04:32.804888
• Title: Exploring the Promise and Limits of Real-Time Recurrent Learning
• Title（参考訳）: リアルタイム反復学習の約束と限界を探る
• Authors: Kazuki Irie, Anand Gopalakrishnan, J\"urgen Schmidhuber
• Abstract要約: シーケンス処理リカレントニューラルネットワーク(RNN)のためのリアルタイムリカレント学習(RTRL)は、時間によるバックプロパゲーション(BPTT)よりもある種の概念上の利点を提供する DMLab-30, ProcGen, Atari-2600環境のいくつかのサブセットにおいて, RTRLとポリシー勾配を組み合わせたアクタ批判手法を検証した。 本システムは,10BフレームでトレーニングしたIMPALAおよびR2D2ベースラインに比較して,1.2B未満の環境フレームでトレーニングした。
• 参考スコア（独自算出の注目度）: 14.162274619299902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time recurrent learning (RTRL) for sequence-processing recurrent neural networks (RNNs) offers certain conceptual advantages over backpropagation through time (BPTT). RTRL requires neither caching past activations nor truncating context, and enables online learning. However, RTRL's time and space complexity make it impractical. To overcome this problem, most recent work on RTRL focuses on approximation theories, while experiments are often limited to diagnostic settings. Here we explore the practical promise of RTRL in more realistic settings. We study actor-critic methods that combine RTRL and policy gradients, and test them in several subsets of DMLab-30, ProcGen, and Atari-2600 environments. On DMLab memory tasks, our system trained on fewer than 1.2 B environmental frames is competitive with or outperforms well-known IMPALA and R2D2 baselines trained on 10 B frames. To scale to such challenging tasks, we focus on certain well-known neural architectures with element-wise recurrence, allowing for tractable RTRL without approximation. Importantly, we also discuss rarely addressed limitations of RTRL in real-world applications, such as its complexity in the multi-layer case.
• Abstract（参考訳）: シーケンス処理リカレントニューラルネットワーク(rnns)のためのリアルタイムリカレント学習(rtrl)は、バックプロパゲーション時間(bptt)よりも概念上の利点を提供する。 RTRLは過去のアクティベーションやトラッピングコンテキストをキャッシュする必要がなく、オンライン学習を可能にする。 しかし、rtrlの時間と空間の複雑さは実用的でない。 この問題を解決するために、RTRLに関する最近の研究は近似理論に焦点を当てているが、実験は診断設定に限られることが多い。 本稿では,より現実的な環境でのRTRLの実践的可能性について考察する。 DMLab-30, ProcGen, Atari-2600環境のいくつかのサブセットにおいて, RTRLとポリシー勾配を組み合わせたアクタ批判手法を検証した。 DMLabのメモリタスクでは、1.2B未満の環境フレームでトレーニングしたシステムは、よく知られたIMPALAとR2D2のベースラインで10Bフレームでトレーニングしたよりも優れている。 このような困難なタスクにスケールするために、要素毎の繰り返しを伴う既知のニューラルアーキテクチャにフォーカスし、rtrlを近似することなく扱いやすいものにした。 重要なのは、マルチレイヤの場合の複雑さなど、実世界のアプリケーションにおけるRTRLの制限にほとんど対処しないことだ。

関連論文リスト

• Retrieval-Augmented Decision Transformer: External Memory for In-context RL [20.06696368770274]
  Retrieval-Augmented Decision Transformer (RA-DT)を紹介する。 RA-DTは、過去の体験を格納するために外部メモリ機構を使用し、現在の状況に関連するサブトラジェクトリのみを取得する。 我々は,RA-DTのグリッドワールド環境,ロボットシミュレーション,手続き的に生成したビデオゲームにおける能力を評価する。
  論文  参考訳（メタデータ） (2024-10-09T17:15:30Z)
• Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
  この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。 インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。 多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
  論文  参考訳（メタデータ） (2024-09-04T14:26:58Z)
• Real-Time Recurrent Learning using Trace Units in Reinforcement Learning [27.250024431890477]
  リカレントニューラルネットワーク(RNN)は、部分的に観測可能な環境で表現を学ぶために使用される。 オンラインで学び、環境と継続的に交流するエージェントにとって、リアルタイム反復学習(RTRL)でRNNを訓練することが望ましい。 これらの洞察に基づいて、オンラインRLでRNNをトレーニングするための軽量で効果的なアプローチを提供します。
  論文  参考訳（メタデータ） (2024-09-02T20:08:23Z)
• Continuous Control with Coarse-to-fine Reinforcement Learning [15.585706638252441]
  本稿ではRLエージェントを粗い方法で連続的なアクション空間にズームインするよう訓練するフレームワークを提案する。 我々は、CQN(Coarse-to-fine Q-Network)と呼ばれる、具体的な価値に基づくアルゴリズムをフレームワーク内に導入する。 CQNは、オンライントレーニングの数分後に現実世界の操作タスクを解決するために、しっかりと学習している。
  論文  参考訳（メタデータ） (2024-07-10T16:04:08Z)
• Real-Time Recurrent Reinforcement Learning [7.737685867200335]
  RTRRLは,(1)メタRL RNNアーキテクチャを独自に実装したアクター・クリティカルなアルゴリズム,(2)メタRLネットワークをトレーニングするために時間差分学習とダッチ適性トレースを利用する外部強化学習アルゴリズム,(3)ネットワークのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムであるRFLO学習の3つの部分から構成される。
  論文  参考訳（メタデータ） (2023-11-08T16:56:16Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• When does return-conditioned supervised learning work for offline reinforcement learning? [51.899892382786526]
  本研究では,リターン条件付き教師あり学習の能力と限界について検討する。 RCSLは、より伝統的な動的プログラミングベースのアルゴリズムに必要なものよりも強い仮定のセットで最適なポリシーを返す。
  論文  参考訳（メタデータ） (2022-06-02T15:05:42Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• Critic Regularized Regression [70.8487887738354]
  批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。 CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-06-26T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。