論文の概要: The primacy bias in Model-based RL

• arxiv url: http://arxiv.org/abs/2310.15017v1
• Date: Mon, 23 Oct 2023 15:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:17:22.209489
• Title: The primacy bias in Model-based RL
• Title（参考訳）: モデルベースRLのプライマリーバイアス
• Authors: Zhongjian Qiao and Jiafei Lyu and Xiu Li
• Abstract要約: プライマリーバイアスは エージェントの傾向だ 早期データに適合し 新しいデータから学ぶ能力を失う これまでの研究では、エージェントのパラメータをリセットするといった単純な手法を用いることで、プライマリーバイアスを大幅に緩和できることが示されている。 本稿では,モデルに基づく強化学習における世界モデルリセットを提案する。
• 参考スコア（独自算出の注目度）: 30.812477200123507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The primacy bias in deep reinforcement learning (DRL), which refers to the agent's tendency to overfit early data and lose the ability to learn from new data, can significantly decrease the performance of DRL algorithms. Previous studies have shown that employing simple techniques, such as resetting the agent's parameters, can substantially alleviate the primacy bias. However, we observe that resetting the agent's parameters harms its performance in the context of model-based reinforcement learning (MBRL). In fact, on further investigation, we find that the primacy bias in MBRL differs from that in model-free RL. In this work, we focus on investigating the primacy bias in MBRL and propose world model resetting, which works in MBRL. We apply our method to two different MBRL algorithms, MBPO and DreamerV2. We validate the effectiveness of our method on multiple continuous control tasks on MuJoCo and DeepMind Control Suite, as well as discrete control tasks on Atari 100k benchmark. The results show that world model resetting can significantly alleviate the primacy bias in model-based setting and improve algorithm's performance. We also give a guide on how to perform world model resetting effectively.
• Abstract（参考訳）: 深層強化学習(DRL)におけるプライマリーバイアスは、エージェントが早期データに過度に適合し、新しいデータから学習する能力を失う傾向を示すものであり、DRLアルゴリズムの性能を著しく低下させる。 これまでの研究では、エージェントのパラメータをリセットするといった単純な手法を用いることで、プライマリーバイアスを大幅に緩和できることが示されている。 しかし,モデルベース強化学習(mbrl)の文脈において,エージェントのパラメータの再設定がその性能を損なうことを観察した。 実際、さらなる調査で、MBRLの優性バイアスはモデルフリーのRLと異なることが判明した。 本研究では,MBRLにおけるプライマリーバイアスの調査に焦点をあて,MBRLで動作する世界モデルリセットを提案する。 我々はMBPOとDreamerV2の2つの異なるMBRLアルゴリズムに適用する。 本手法は,mujocoとdeepmindの複数の連続制御タスクとatari 100kベンチマークの離散制御タスクに対して有効であることを検証した。 その結果,世界モデルのリセットにより,モデルベース設定におけるプライオリティバイアスが大幅に軽減され,アルゴリズムの性能が向上することが示された。 また,世界モデルのリセットを効果的に行う方法についても紹介する。

関連論文リスト

• BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning [39.090104460303415]
  オフラインモデルベース強化学習(MBRL)は、事前コンパイルされたデータセットを使用してモデルとポリシーを学ぶことにより、データ効率を向上させる。 本稿は、このミスマッチの主な原因を、オフラインデータに存在する根底にある共同設立者から特定する。 両状態の因果表現をキャプチャするアルゴリズムである textbfBilintextbfEar textbfCAUSal rtextbfEpresentation (BECAUSE) を導入する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:23Z)
• Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
  本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。 本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。 我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T07:27:30Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• An Analysis of Model-Based Reinforcement Learning From Abstracted Observations [24.964038353043918]
  オンラインで収集したサンプル(例えば実世界のサンプル)とモデルベース強化学習(MBRL)の結果の依存関係を抽象化することで実現可能であることを示す。 我々はこの問題を克服するためにマルティンガレの濃度不等式を使用できることを示す。 原型的MBRLアルゴリズムであるR-MAXと抽象化を組み合わせることで、モデルベースの「抽象観測からのRL」に対する最初の性能保証を生成する。
  論文  参考訳（メタデータ） (2022-08-30T17:19:26Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control [1.8275108630751844]
  本稿では,支配法則が(一部)知られている環境の物理の先行知識を活用することを提案する。 環境の事前情報を取り入れることで、学習したモデルの品質を顕著に改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T02:19:36Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。