論文の概要: Accelerating Model-Based Reinforcement Learning with State-Space World Models

• arxiv url: http://arxiv.org/abs/2502.20168v1
• Date: Thu, 27 Feb 2025 15:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:45.269856
• Title: Accelerating Model-Based Reinforcement Learning with State-Space World Models
• Title（参考訳）: 状態空間世界モデルを用いたモデルベース強化学習の高速化
• Authors: Maria Krinner, Elie Aljalbout, Angel Romero, Davide Scaramuzza,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、ロボット学習における強力なアプローチである。 しかし、モデルフリーRL(MFRL)は、制御ポリシーをうまく学習するために、多数の環境相互作用を必要とする。 状態空間世界モデルを用いたモデルベースRLの高速化手法を提案する。
• 参考スコア（独自算出の注目度）: 18.71404724458449
• License:
• Abstract: Reinforcement learning (RL) is a powerful approach for robot learning. However, model-free RL (MFRL) requires a large number of environment interactions to learn successful control policies. This is due to the noisy RL training updates and the complexity of robotic systems, which typically involve highly non-linear dynamics and noisy sensor signals. In contrast, model-based RL (MBRL) not only trains a policy but simultaneously learns a world model that captures the environment's dynamics and rewards. The world model can either be used for planning, for data collection, or to provide first-order policy gradients for training. Leveraging a world model significantly improves sample efficiency compared to model-free RL. However, training a world model alongside the policy increases the computational complexity, leading to longer training times that are often intractable for complex real-world scenarios. In this work, we propose a new method for accelerating model-based RL using state-space world models. Our approach leverages state-space models (SSMs) to parallelize the training of the dynamics model, which is typically the main computational bottleneck. Additionally, we propose an architecture that provides privileged information to the world model during training, which is particularly relevant for partially observable environments. We evaluate our method in several real-world agile quadrotor flight tasks, involving complex dynamics, for both fully and partially observable environments. We demonstrate a significant speedup, reducing the world model training time by up to 10 times, and the overall MBRL training time by up to 4 times. This benefit comes without compromising performance, as our method achieves similar sample efficiency and task rewards to state-of-the-art MBRL methods.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、ロボット学習における強力なアプローチである。 しかし、モデルフリーRL(MFRL)は、制御ポリシーをうまく学習するために、多数の環境相互作用を必要とする。 これは、ノイズの多いRLトレーニングの更新と、高非線形ダイナミクスとノイズの多いセンサー信号を含むロボットシステムの複雑さによる。 対照的に、モデルベースRL(MBRL)はポリシーを訓練するだけでなく、環境のダイナミクスと報酬を捉える世界モデルも同時に学習する。 ワールドモデルは、計画、データ収集、またはトレーニングのためのファーストオーダーのポリシー勾配を提供するために使用することができる。 世界モデルを活用することで、モデルフリーのRLに比べてサンプル効率が大幅に向上する。 しかし、このポリシーに沿って世界モデルをトレーニングすると、計算の複雑さが増し、複雑な現実世界のシナリオに難航する時間が長くなる。 本研究では,状態空間世界モデルを用いたモデルベースRLの高速化手法を提案する。 我々の手法は状態空間モデル(SSM)を利用して動的モデルの訓練を並列化する。 さらに、トレーニング中に世界モデルに特権情報を提供するアーキテクチャを提案し、これは部分的に観測可能な環境に特に関係している。 本手法は, 完全かつ部分的に観測可能な環境において, 複雑なダイナミックスを含む, 実世界のアジャイル四重項飛行タスクにおいて評価する。 その結果,世界モデルのトレーニング時間を最大10倍に短縮し,MBRLのトレーニング時間を最大4倍に短縮した。 この利点は、我々の手法が最先端のMBRL手法に類似したサンプル効率とタスク報酬を達成するため、性能を損なうことなく得られる。

関連論文リスト

• Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
  状態空間モデル(SSM)をベースとした世界モデルを提案する。 長期依存関係を効果的にキャプチャしながら、メモリと計算の複雑さを$O(n)$達成します。 このモデルはアクセス可能で、市販のラップトップでトレーニングすることができる。
  論文  参考訳（メタデータ） (2024-10-11T15:10:40Z)
• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)
• PWM: Policy Learning with Multi-Task World Models [37.678858748473196]
  世界モデル手法は、環境のシミュレーションを学習することでスケーラビリティを提供する。 勾配に基づく手法は低い分散を示すが、不連続性を扱うことができない。 連続制御のための新しいモデルベースRLアルゴリズムであるマルチタスク世界モデル(PWM)を用いたポリシー学習を紹介する。
  論文  参考訳（メタデータ） (2024-07-02T17:47:03Z)
• Finetuning Offline World Models in the Real World [13.46766121896684]
  強化学習(RL)はデータ非効率で、実際のロボットの訓練を困難にしている。 オフラインのRLは、オンラインインタラクションなしで既存のデータセットのRLポリシーをトレーニングするためのフレームワークとして提案されている。 本研究では,実ロボットで収集したオフラインデータを用いて世界モデルを事前学習し,学習モデルを用いて計画して収集したオンラインデータ上でモデルを微調整する問題を考察する。
  論文  参考訳（メタデータ） (2023-10-24T17:46:12Z)
• HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
  モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。 本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
  論文  参考訳（メタデータ） (2023-09-30T11:38:13Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning [45.73223325256312]
  最新のモデルベースRLアルゴリズムで学習した内部モデルが、新しい明らかに異なるタスクを高速に解くために活用できるかどうかを考察する。 我々は,学習世界のモデルのスケーラブルな事前学習と微調整が可能な,サンプル効率の高いオンラインRLのためのフレームワークであるModel-Based Cross-Task Transfer (XTRA)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:06Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。