論文の概要: Augmenting Replay in World Models for Continual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2401.16650v3
• Date: Tue, 16 Jul 2024 07:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 23:30:59.746021
• Title: Augmenting Replay in World Models for Continual Reinforcement Learning
• Title（参考訳）: 連続強化学習のための世界モデルにおけるリプレイ強化
• Authors: Luke Yang, Levin Kuhlmann, Gideon Kowadlo,
• Abstract要約: 連続RLは、エージェントが過去のタスクと将来のタスクの両方を改善しながら、以前のタスクを忘れずに新しいタスクを学ぶ必要がある。 最も一般的なアプローチは、モデルフリーのアルゴリズムとリプレイバッファを使って破滅的な忘れを軽減している。 WMAR(World Models with Augmented Replay)は,メモリ効率のよいリプレイバッファを持つモデルベースRLアルゴリズムである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual RL requires an agent to learn new tasks without forgetting previous ones, while improving on both past and future tasks. The most common approaches use model-free algorithms and replay buffers can help to mitigate catastrophic forgetting, but often struggle with scalability due to large memory requirements. Biologically inspired replay suggests replay to a world model, aligning with model-based RL; as opposed to the common setting of replay in model-free algorithms. Model-based RL offers benefits for continual RL by leveraging knowledge of the environment, independent of policy. We introduce WMAR (World Models with Augmented Replay), a model-based RL algorithm with a memory-efficient distribution-matching replay buffer. WMAR extends the well known DreamerV3 algorithm, which employs a simple FIFO buffer and was not tested in continual RL. We evaluated WMAR and DreamerV3, with the same-size replay buffers. They were tested on two scenarios: tasks with shared structure using OpenAI Procgen and tasks without shared structure using the Atari benchmark. WMAR demonstrated favourable properties for continual RL considering metrics for forgetting as well as skill transfer on past and future tasks. Compared to DreamerV3, WMAR showed slight benefits in tasks with shared structure and substantially better forgetting characteristics on tasks without shared structure. Our results suggest that model-based RL with a memory-efficient replay buffer can be an effective approach to continual RL, justifying further research.
• Abstract（参考訳）: 連続RLは、エージェントが過去のタスクと将来のタスクの両方を改善しながら、以前のタスクを忘れずに新しいタスクを学ぶ必要がある。 最も一般的なアプローチは、モデルフリーのアルゴリズムとリプレイバッファを使うことで、破滅的な忘れを軽減できますが、大きなメモリ要求のためにスケーラビリティに悩まされます。 生物学的にインスパイアされたリプレイは、モデルベースのRLと整合した世界モデルへのリプレイを提案し、モデルフリーアルゴリズムにおけるリプレイの一般的な設定とは対照的である。 モデルベースのRLは、ポリシーとは独立して環境の知識を活用することで、連続的なRLに利益をもたらす。 WMAR(World Models with Augmented Replay)は,メモリ効率の高い分散マッチングリプレイバッファを持つモデルベースRLアルゴリズムである。 WMARは、単純なFIFOバッファを使用し、連続RLではテストされなかった、よく知られたDreamerV3アルゴリズムを拡張している。 WMARとDreamerV3を同サイズのリプレイバッファで評価した。 OpenAI Procgenを使って共有構造を持つタスクと、Atariベンチマークを使って共有構造を持たないタスクの2つのシナリオでテストされた。 WMARは、過去のタスクと将来のタスクのスキル伝達だけでなく、忘れるための指標も考慮した連続RLに好適な特性を示した。 DreamerV3と比較して、WMARは共有構造を持つタスクにはわずかに利点があり、共有構造を持たないタスクの特徴をかなりよく忘れている。 その結果,メモリ効率のよいリプレイバッファを持つモデルベースRLは連続RLに有効なアプローチであり,さらなる研究を正当化する可能性が示唆された。

関連論文リスト

• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)
• Reflect-RL: Two-Player Online RL Fine-Tuning for LMs [38.5495318990769]
  オンライン強化学習(RL)と教師付き微調整(SFT)を用いた微調整言語モデル(LM)システムであるReflect-RLを提案する。 GPT-2 XL 1.56BはReflect-RLで微調整され、Mistral 7Bのようなより大きなオープンソースLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-20T01:04:21Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Does Zero-Shot Reinforcement Learning Exist? [11.741744003560095]
  ゼロショットRLエージェント(ゼロショットRL agent)は、任意のRLタスクを、追加の計画や学習なしで即座に解決できるエージェントである。 これは報酬中心のRLパラダイムから"制御可能な"エージェントへのシフトを表している。 近似ゼロショットRLの戦略は、後続特徴(SF)や前方表現(FB)を用いて提案されている。
  論文  参考訳（メタデータ） (2022-09-29T16:54:05Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2 [5.239932780277599]
  生成的リプレイ(GR)は、生物学的にインスパイアされたリプレイ機構であり、自己ラベルの例で学習経験を増強する。 本稿では,2つのデシラタを満たすLRL用GRのバージョンを提案する。 (a) 深層RLを用いて学習したポリシーの潜在表現の内観的密度モデリング, (b) モデルなしのエンドツーエンド学習である。
  論文  参考訳（メタデータ） (2022-08-09T22:00:28Z)
• Recurrent Model-Free RL is a Strong Baseline for Many POMDPs [73.39666827525782]
  メタRL、ロバストRL、RLの一般化など、RLの多くの問題はPOMDPとしてキャストできる。 理論上は、リカレントニューラルネットワークなどのメモリによるモデルフリーRLの増大は、あらゆるタイプのPOMDPを解決するための一般的なアプローチを提供する。 以前の研究で、そのような繰り返しモデルなしのRL法は、特定のタイプのPOMDP向けに設計された、より特殊なアルゴリズムよりもパフォーマンスが悪くなっていることが判明した。
  論文  参考訳（メタデータ） (2021-10-11T07:09:14Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。