論文の概要: Model Predictive Control with Differentiable World Models for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.22430v1
• Date: Mon, 23 Mar 2026 18:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.129239
• Title: Model Predictive Control with Differentiable World Models for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習のための微分可能世界モデルを用いたモデル予測制御
• Authors: Rohan Deb, Stephen J. Wright, Arindam Banerjee,
• Abstract要約: モデル予測制御(MPC)にインスパイアされた推論時間適応フレームワークを提案する。 ポリシーパラメータを最適化するために推定時情報を利用すると、強いオフラインRLベースラインよりも一貫した利得が得られることを示す。
• 参考スコア（独自算出の注目度）: 17.293286354647716
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Offline Reinforcement Learning (RL) aims to learn optimal policies from fixed offline datasets, without further interactions with the environment. Such methods train an offline policy (or value function), and apply it at inference time without further refinement. We introduce an inference time adaptation framework inspired by model predictive control (MPC) that utilizes a pretrained policy along with a learned world model of state transitions and rewards. While existing world model and diffusion-planning methods use learned dynamics to generate imagined trajectories during training, or to sample candidate plans at inference time, they do not use inference-time information to optimize the policy parameters on the fly. In contrast, our design is a Differentiable World Model (DWM) pipeline that enables endto-end gradient computation through imagined rollouts for policy optimization at inference time based on MPC. We evaluate our algorithm on D4RL continuous-control benchmarks (MuJoCo locomotion tasks and AntMaze), and show that exploiting inference-time information to optimize the policy parameters yields consistent gains over strong offline RL baselines.
• Abstract（参考訳）: オフライン強化学習(RL)は、環境とのさらなるインタラクションなしに、固定されたオフラインデータセットから最適なポリシーを学ぶことを目的としている。 このようなメソッドはオフラインポリシー(あるいは値関数)をトレーニングし、さらなる改善なしに推論時に適用する。 モデル予測制御(MPC)にインスパイアされた推論時間適応フレームワークを導入し、事前学習されたポリシーと、状態遷移と報酬の学習された世界モデルを利用する。 既存の世界モデルと拡散計画法は、学習力学を用いてトレーニング中に想像された軌跡を生成する一方、推論時に候補計画のサンプルを作成する。 対照的に、我々の設計は微分可能世界モデル(DWM)パイプラインであり、MPCに基づく推論時間におけるポリシー最適化のための想像的なロールアウトによるエンドツーエンドの勾配計算を可能にする。 我々は,D4RL連続制御ベンチマーク(MuJoCoロコモーションタスクとAntMaze)において,ポリシーパラメータを最適化するために推定時間情報を利用すると,強いオフラインRLベースラインよりも一貫した利得が得られることを示す。

関連論文リスト

• IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
  オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。 まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。 従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
  論文  参考訳（メタデータ） (2026-03-04T17:05:39Z)
• Policy-Driven World Model Adaptation for Robust Offline Model-based Reinforcement Learning [6.189693079685375]
  オフラインモデルベースRL(MBRL)は、静的データセットからワールドモデルを明示的に学習する。 政策とともに世界モデルを動的に適用する枠組みを提案する。 我々は,D4RL MuJoCoタスク12件とTokamak Controlタスク3件のアルゴリズムをベンチマークし,その最先端性能を実証した。
  論文  参考訳（メタデータ） (2025-05-19T20:14:33Z)
• Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation [36.9134885948595]
  本稿では,AdversariaLデータ拡張を用いたモデルベースオフライン強化学習について紹介する。 MoRALでは,エンサンブルモデルと交互サンプリングを行うために,エンサンブルデータ拡張を用いて固定水平線ロールアウトを置き換える。 D4RLベンチマークの実験では、MORALはポリシー学習やサンプル効率の観点から、他のモデルベースのオフラインRLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-26T07:24:34Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models [19.05224410249602]
  閉ループポリシー評価と世界モデル適応を用いたオフライン強化学習のための新しい手法を提案する。 提案手法の性能を解析し,提案手法と実環境とのリターンギャップに上限を設けた。
  論文  参考訳（メタデータ） (2024-05-30T09:34:31Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning [62.19209005400561]
  オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。 オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。 政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
  論文  参考訳（メタデータ） (2022-06-14T20:56:16Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。