論文の概要: Replay Buffer With Local Forgetting for Adaptive Deep Model-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2303.08690v1
• Date: Wed, 15 Mar 2023 15:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-16 13:25:19.725883
• Title: Replay Buffer With Local Forgetting for Adaptive Deep Model-Based Reinforcement Learning
• Title（参考訳）: 適応型深層モデルに基づく強化学習のための局所的忘れるリプレイバッファ
• Authors: Ali Rahimi-Kalahroudi, Janarthanan Rajendran, Ida Momennejad, Harm van Seijen, Sarath Chandar
• Abstract要約: 本稿では,従来のリプレイバッファの簡単な変更により,初回再生バッファの制限を克服できることを示す。 古典的ダイナ法のディープバージョンにリプレイバッファ変動を適用してこれを実証する。
• 参考スコア（独自算出の注目度）: 22.724378403292526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the key behavioral characteristics used in neuroscience to determine whether the subject of study -- be it a rodent or a human -- exhibits model-based learning is effective adaptation to local changes in the environment. In reinforcement learning, however, recent work has shown that modern deep model-based reinforcement-learning (MBRL) methods adapt poorly to such changes. An explanation for this mismatch is that MBRL methods are typically designed with sample-efficiency on a single task in mind and the requirements for effective adaptation are substantially higher, both in terms of the learned world model and the planning routine. One particularly challenging requirement is that the learned world model has to be sufficiently accurate throughout relevant parts of the state-space. This is challenging for deep-learning-based world models due to catastrophic forgetting. And while a replay buffer can mitigate the effects of catastrophic forgetting, the traditional first-in-first-out replay buffer precludes effective adaptation due to maintaining stale data. In this work, we show that a conceptually simple variation of this traditional replay buffer is able to overcome this limitation. By removing only samples from the buffer from the local neighbourhood of the newly observed samples, deep world models can be built that maintain their accuracy across the state-space, while also being able to effectively adapt to changes in the reward function. We demonstrate this by applying our replay-buffer variation to a deep version of the classical Dyna method, as well as to recent methods such as PlaNet and DreamerV2, demonstrating that deep model-based methods can adapt effectively as well to local changes in the environment.
• Abstract（参考訳）: 神経科学における重要な行動特性の1つは、研究対象(げっ歯類か人間か)が、モデルに基づく学習が環境の局所的な変化に効果的な適応を示すかどうかを決定することである。 しかし、強化学習において、最近の研究により、現代の深層モデルに基づく強化学習(MBRL)法はそのような変化に不適応であることが示されている。 このミスマッチの1つの説明として、MBRL法は典型的には1つのタスクを念頭においてサンプル効率で設計され、学習の世界モデルと計画ルーチンの両方の観点から、効果的適応の要件は著しく高い。 特に難しい要件の1つは、学習された世界モデルは、状態空間の関連部分を通して十分に正確でなければならないことである。 これは、破滅的な忘れによるディープラーニングベースの世界モデルにとって難しいことです。 リプレイバッファは破滅的なリプレーングの影響を緩和するが、従来のファーストインファーストリプレイバッファは、古いデータを維持するために効果的な適応を阻害する。 そこで本研究では,従来のリプレイバッファの単純な変更により,この制限を克服できることを示す。 新たに観測されたサンプルの局所的近傍からバッファからのみを除去することにより、状態空間全体の精度を維持するとともに、報酬関数の変化に効果的に適応できるディープワールドモデルを構築することができる。 従来のDyna手法の深部バージョンや,PlaNetやDreamerV2といった最近の手法に,我々のリプレイバッファ変動を適用して,深部モデルに基づく手法が環境の局所的な変化に効果的に適応できることを実証した。

関連論文リスト

• Replay to Remember: Retaining Domain Knowledge in Streaming Language Models [0.0]
  大規模言語モデル(LLM)における継続的な学習は、破滅的な忘れ込みという重要な課題に直面するのが普通である。 現実的なストリーミング環境では,LoRAと最小限の再生機構を組み合わせた手法を実証する。 我々の実験では、破滅的な忘れが自然に起こるが、最小限のリプレイでさえ、ドメイン固有の知識を著しく安定化し、部分的に復元する。
  論文  参考訳（メタデータ） (2025-04-24T17:56:22Z)
• SPARTAN: A Sparse Transformer Learning Local Causation [63.29645501232935]
  因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
  論文  参考訳（メタデータ） (2024-11-11T11:42:48Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Partial Models for Building Adaptive Model-Based Reinforcement Learning Agents [37.604622216020765]
  部分モデルの概念的にシンプルなアイデアにより、深層モデルに基づくエージェントがこの課題を克服できることを示す。 我々は、ディープダイナQ、PlaNet、Dreamerなどのエージェントで部分モデルを使用することで、環境の局所的な変化に効果的に適応できることを示す。
  論文  参考訳（メタデータ） (2024-05-27T07:46:36Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• PointFix: Learning to Fix Domain Bias for Robust Online Stereo Adaptation [67.41325356479229]
  本稿では,PointFixと呼ばれるメタラーニングフレームワークに補助的なポイント選択型ネットワークを導入することを提案する。 簡単に言えば、我々の補助的ネットワークは、メタグラディエントを通じて局所情報を効果的にバックプロパゲートすることで、局所的変異を集中的に修正することを学ぶ。 このネットワークはモデルに依存しないため、プラグイン・アンド・プレイ方式であらゆる種類のアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2022-07-27T07:48:29Z)
• Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods [25.05409184943328]
  モデルに基づく手法は, 局所的な環境変化に適応する能力に乏しいことを示す。 適応的な振る舞いを損なう要素を特定し、深層モデルベースRLで頻繁に使用される基礎技術とリンクする。 適応非線形モデルに基づく手法を構築する際の課題について考察する。
  論文  参考訳（メタデータ） (2022-04-25T06:45:16Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。