論文の概要: Replay Buffer With Local Forgetting for Adaptive Deep Model-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2303.08690v1
• Date: Wed, 15 Mar 2023 15:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:25:19.725883
• Title: Replay Buffer With Local Forgetting for Adaptive Deep Model-Based Reinforcement Learning
• Title（参考訳）: 適応型深層モデルに基づく強化学習のための局所的忘れるリプレイバッファ
• Authors: Ali Rahimi-Kalahroudi, Janarthanan Rajendran, Ida Momennejad, Harm van Seijen, Sarath Chandar
• Abstract要約: 本稿では,従来のリプレイバッファの簡単な変更により,初回再生バッファの制限を克服できることを示す。 古典的ダイナ法のディープバージョンにリプレイバッファ変動を適用してこれを実証する。
• 参考スコア（独自算出の注目度）: 22.724378403292526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the key behavioral characteristics used in neuroscience to determine whether the subject of study -- be it a rodent or a human -- exhibits model-based learning is effective adaptation to local changes in the environment. In reinforcement learning, however, recent work has shown that modern deep model-based reinforcement-learning (MBRL) methods adapt poorly to such changes. An explanation for this mismatch is that MBRL methods are typically designed with sample-efficiency on a single task in mind and the requirements for effective adaptation are substantially higher, both in terms of the learned world model and the planning routine. One particularly challenging requirement is that the learned world model has to be sufficiently accurate throughout relevant parts of the state-space. This is challenging for deep-learning-based world models due to catastrophic forgetting. And while a replay buffer can mitigate the effects of catastrophic forgetting, the traditional first-in-first-out replay buffer precludes effective adaptation due to maintaining stale data. In this work, we show that a conceptually simple variation of this traditional replay buffer is able to overcome this limitation. By removing only samples from the buffer from the local neighbourhood of the newly observed samples, deep world models can be built that maintain their accuracy across the state-space, while also being able to effectively adapt to changes in the reward function. We demonstrate this by applying our replay-buffer variation to a deep version of the classical Dyna method, as well as to recent methods such as PlaNet and DreamerV2, demonstrating that deep model-based methods can adapt effectively as well to local changes in the environment.
• Abstract（参考訳）: 神経科学における重要な行動特性の1つは、研究対象(げっ歯類か人間か)が、モデルに基づく学習が環境の局所的な変化に効果的な適応を示すかどうかを決定することである。 しかし、強化学習において、最近の研究により、現代の深層モデルに基づく強化学習(MBRL)法はそのような変化に不適応であることが示されている。 このミスマッチの1つの説明として、MBRL法は典型的には1つのタスクを念頭においてサンプル効率で設計され、学習の世界モデルと計画ルーチンの両方の観点から、効果的適応の要件は著しく高い。 特に難しい要件の1つは、学習された世界モデルは、状態空間の関連部分を通して十分に正確でなければならないことである。 これは、破滅的な忘れによるディープラーニングベースの世界モデルにとって難しいことです。 リプレイバッファは破滅的なリプレーングの影響を緩和するが、従来のファーストインファーストリプレイバッファは、古いデータを維持するために効果的な適応を阻害する。 そこで本研究では,従来のリプレイバッファの単純な変更により,この制限を克服できることを示す。 新たに観測されたサンプルの局所的近傍からバッファからのみを除去することにより、状態空間全体の精度を維持するとともに、報酬関数の変化に効果的に適応できるディープワールドモデルを構築することができる。 従来のDyna手法の深部バージョンや,PlaNetやDreamerV2といった最近の手法に,我々のリプレイバッファ変動を適用して,深部モデルに基づく手法が環境の局所的な変化に効果的に適応できることを実証した。

関連論文リスト

• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• PointFix: Learning to Fix Domain Bias for Robust Online Stereo Adaptation [67.41325356479229]
  本稿では,PointFixと呼ばれるメタラーニングフレームワークに補助的なポイント選択型ネットワークを導入することを提案する。 簡単に言えば、我々の補助的ネットワークは、メタグラディエントを通じて局所情報を効果的にバックプロパゲートすることで、局所的変異を集中的に修正することを学ぶ。 このネットワークはモデルに依存しないため、プラグイン・アンド・プレイ方式であらゆる種類のアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2022-07-27T07:48:29Z)
• Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods [25.05409184943328]
  モデルに基づく手法は, 局所的な環境変化に適応する能力に乏しいことを示す。 適応的な振る舞いを損なう要素を特定し、深層モデルベースRLで頻繁に使用される基礎技術とリンクする。 適応非線形モデルに基づく手法を構築する際の課題について考察する。
  論文  参考訳（メタデータ） (2022-04-25T06:45:16Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control [1.8275108630751844]
  本稿では,支配法則が(一部)知られている環境の物理の先行知識を活用することを提案する。 環境の事前情報を取り入れることで、学習したモデルの品質を顕著に改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T02:19:36Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation [41.05407168312345]
  ドメイン適応とは、ソースドメインから学んだ共有知識を新しい環境、すなわちターゲットドメインに転送することである。 1つの一般的なプラクティスは、ラベル付きソースドメインデータとラベルなしターゲットドメインデータの両方でモデルをトレーニングすることです。 学習中に補足モデルを明確に学習する1つの効果的なブートストラップ法であるadaboost studentを提案する。
  論文  参考訳（メタデータ） (2021-03-29T15:12:58Z)
• The LoCA Regret: A Consistent Metric to Evaluate Model-Based Behavior in Reinforcement Learning [21.967763416902265]
  本稿では,RL手法のモデルベース動作を評価するための実験装置を提案する。 我々のメトリクスは、たとえ手法が表現に乏しいとしても、モデルに基づく振る舞いを識別できる。 我々は、従来のマウンテンカータスクのバリエーションに基づいて、MuZeroのモデルに基づく振る舞いを評価するためにセットアップを使用する。
  論文  参考訳（メタデータ） (2020-07-07T01:34:55Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。