論文の概要: In-Distribution Imagination for Model-Based Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.38673v1
• Date: Tue, 29 Sep 2026 23:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.855085
• Title: In-Distribution Imagination for Model-Based Offline Reinforcement Learning
• Title（参考訳）: モデルに基づくオフライン強化学習のためのイン・ディストリビューション・イマジネーション
• Abstract要約: 累積モデルエラーは オフラインデータ配布の外で 想像上の軌道を駆動できる 本稿では,学習した表現空間における軌跡支援を推定するロールアウト制御フレームワークであるemphin-distribution imagination (IDI)を提案する。
• 参考スコア（独自算出の注目度）: 8.729531978655737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based offline reinforcement learning (MBORL) improves sample efficiency through model-generated trajectories. However, accumulative model error can drive imagined trajectories outside the offline data distribution, leading to unrealistic synthetic data and unstable policy optimization. Many existing methods primarily control rollouts using transition-level uncertainty. We propose \emph{in-distribution imagination} (IDI), a rollout control framework that estimates trajectory support in a learned representation space and adaptively truncates rollouts that leave the offline trajectory manifold. Combined with trajectory-regularized RL, an extension of entropy-regularized RL, IDI consistently improves performance in limited-data settings. Experiments show that trajectory support predicts rollout failure substantially better than transition-level uncertainty, highlighting the importance of trajectory-level rollout control in MBORL.
• Abstract（参考訳）: モデルベースオフライン強化学習(MBORL)は、モデル生成軌道によるサンプル効率を向上させる。 しかし、累積モデル誤差は、オフラインデータ分布の外にある想像上の軌道を駆動し、非現実的な合成データと不安定なポリシー最適化をもたらす。 多くの既存手法は、遷移レベルの不確実性を利用してロールアウトを制御する。 学習した表現空間における軌道支援を推定し、オフラインの軌道多様体を残したロールアウトを適応的に切り離すロールアウト制御フレームワークである 'emph{in-distriion imagination} (IDI) を提案する。 エントロピー規則化RLの拡張であるトラジェクトリ規則化RLと組み合わせることで、IDIはリミテッドデータ設定におけるパフォーマンスを一貫して改善する。 実験の結果, トラジェクトリサポートはトランジションレベルの不確実性よりもロールアウト障害を予測し, MBORLにおけるトラジェクトリレベルのロールアウト制御の重要性を強調した。

関連論文リスト

• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Receding-Horizon Control via Drifting Models [46.44328012099217]
  ドリフトMPCは、ドリフト生成モデルと未知の力学の下での後退水平計画を組み合わせた。 ドリフトMPCはドリフトモデルの一段階推論効率を維持しつつ, ほぼ最適軌道を生成可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-06T08:48:10Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• ASTRO: Adaptive Stitching via Dynamics-Guided Trajectory Rollouts [22.46606397400043]
  本稿では,データ拡張フレームワークASTROを提案する。 ASTROはまず時間距離の表現を学習し、区別され、到達可能な縫合ターゲットを特定する。 次に、動的誘導型縫合プランナを用い、ロールアウト偏差フィードバックを介して接続動作シーケンスを適応的に生成する。
  論文  参考訳（メタデータ） (2025-11-28T18:35:37Z)
• Controllable Flow Matching for Online Reinforcement Learning [5.944099401274571]
  条件付きフローマッチング(CFM)を用いた軌道レベルの合成法であるCtrlFlowを提案する。 本手法は,非線形制御性グラミアン行列が支配する制御エネルギーを最小化することにより,最適軌道サンプリングを実現する。 オンライン設定では、CtrlFlowは、動的モデルよりも一般的な MuJoCo ベンチマークタスクのパフォーマンスが優れていることを実証している。
  論文  参考訳（メタデータ） (2025-11-10T08:01:20Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation [36.9134885948595]
  本稿では,AdversariaLデータ拡張を用いたモデルベースオフライン強化学習について紹介する。 MoRALでは,エンサンブルモデルと交互サンプリングを行うために,エンサンブルデータ拡張を用いて固定水平線ロールアウトを置き換える。 D4RLベンチマークの実験では、MORALはポリシー学習やサンプル効率の観点から、他のモデルベースのオフラインRLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-26T07:24:34Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。