論文の概要: Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning

• arxiv url: http://arxiv.org/abs/2609.33336v1
• Date: Sun, 27 Sep 2026 08:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:04:29.816228
• Title: Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning
• Title（参考訳）: 保守主義を超えて:モデルに基づく模倣学習のための回復可能性に基づく探索
• Abstract要約: モデルに基づく模倣学習(MBIL)は、学習された世界モデルからの想像上のロールアウトに関するポリシーを最適化することにより、実環境の相互作用効率を改善する。 モデルに基づく模倣学習(RECON)のための検索可能性を考慮した探索手法を提案する。 RECONは、タスク実行のための主要なポリシーと実際の環境相互作用のためのエクスプローラーを維持して、保守的なポリシー学習をアクティブなデータ収集から分離する。
• 参考スコア（独自算出の注目度）: 9.23596520645967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based imitation learning (MBIL) improves real-environment interaction efficiency by optimizing policies on imagined rollouts from a learned world model. However, the gap between model-induced and real-environment occupancies makes policy learning sensitive to model error. Conservative MBIL mitigates model exploitation during policy optimization, but when real-environment interactions are collected by the same conservative policy, uncertain regions around the expert distribution remain insufficiently sampled. Generic uncertainty-driven exploration, on the other hand, may allocate interaction to novel but task-irrelevant dynamics. We propose REcoverability-CONditioned Exploration for Model-Based Imitation Learning (RECON). RECON separates conservative policy learning from active data collection by maintaining a main policy for task execution and an explorer for real-environment interaction. The explorer is optimized based on epistemic uncertainty conditioned on recoverability estimated from multi-step main-policy imagination, focusing data collection on unknown states from which the main policy can still return toward expert behavior. Experiments on locomotion, navigation and manipulation show consistent gains in interaction efficiency, imitation performance, and robustness, indicating that RECON directs real-environment interaction toward recovery regions around the expert distribution that are underexplored by prior methods, and thereby learns a world model better suited for imitation.
• Abstract（参考訳）: モデルに基づく模倣学習(MBIL)は、学習された世界モデルからの想像上のロールアウトに関するポリシーを最適化することにより、実環境の相互作用効率を改善する。 しかし、モデル誘発と実環境占有のギャップは、政策学習をモデルエラーに敏感にする。 保守的なMBILは、政策最適化中のモデル利用を緩和するが、実際の環境相互作用が同じ保守的な政策によって収集される場合、専門家分布周辺の不確実な領域は、十分にサンプル化されていない。 一方、ジェネリック不確実性による探索は、新しいがタスク非関連な力学との相互作用を割り当てる可能性がある。 モデルに基づく模倣学習(RECON)のための検索可能性構築探索を提案する。 RECONは、タスク実行のための主要なポリシーと実際の環境相互作用のためのエクスプローラーを維持して、保守的なポリシー学習をアクティブなデータ収集から分離する。 このエクスプローラーは、多段階のメインポリスイマジネーションから推定される回復可能性に条件付けられたてんかんの不確実性に基づいて最適化され、主要なポリシーがまだ専門家の行動に戻すことのできる未知の状態に関するデータ収集に焦点を合わせている。 移動, ナビゲーション, 操作実験は, 相互作用効率, 模倣性能, 堅牢性において一貫した向上を示し, RECONは, 従来の手法で探索されていない専門家分布の周辺において, 現実環境との相互作用を誘導し, 模倣に適した世界モデルを学習することを示す。

関連論文リスト

• Dreamer-SAC: Off-Policy Learning in Latent World Models for Sample-Efficient Autonomous Driving [8.391716372682316]
  本稿では,連続状態空間モデルと非政治ソフトアクター批判アルゴリズムを統合したDreamer-SACフレームワークを提案する。 自動運転のシナリオでは 運転効率と安全性を 考慮して評価します 実験により、ロールアウト地平線と政策パフォーマンスの逆U関係が明らかとなり、短水平ラテントロールアウトは追加のトレーニング信号と累積モデルバイアスの間の最良のトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-08-11T02:27:26Z)
• Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
  ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。 本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。 人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
  論文  参考訳（メタデータ） (2026-07-01T08:41:49Z)
• ExploreVLA: Dense World Modeling and Exploration for End-to-End Autonomous Driving [19.081114003415863]
  我々は,意味のある探索と密集した監視を実現するために,統合された理解・生成の枠組みを提案する。 我々は、高密度世界モデリングの目的として、将来のRGBと深度画像生成による軌道予測を強化した。 我々は、この探索信号を安全性の高い報酬に組み込んで、ポリシーを最適化する。
  論文  参考訳（メタデータ） (2026-04-03T04:14:13Z)
• Dual Alignment Maximin Optimization for Offline Model-based RL [37.563771012143725]
  オフラインの強化剤は、合成から現実の分布ミスマッチのため、重要な展開課題に直面します。 本稿では、まずモデル信頼性から、期待したリターンを最適化しながらポリシーの相違に焦点を移し、その後、自己整合的に合成データを組み込む。 これは、モデル環境ポリシーの一貫性と、合成およびデータのオフラインを保証する統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-02-02T16:47:35Z)
• Mitigating Distribution Shift in Model-based Offline RL via Shifts-aware Reward Learning [36.01269673940484]
  本稿では,問題をモデルバイアスとポリシーシフトという2つの基本要素に分解する包括的分析を行う。 我々の理論的および実証的研究は、これらの要因がどのように価値推定と政策最適化を歪めているかを明らかにする。 我々は、バニラ報酬を改良し、価値学習を洗練させ、政策訓練を促進する統一確率的推論フレームワークを通じて、新しいシフトアウェア報酬を導出する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Dual policy as self-model for planning [71.73710074424511]
  エージェントの自己モデルとして決定をシミュレートするために使用されるモデルについて述べる。 現在の強化学習アプローチと神経科学にインスパイアされた我々は、蒸留政策ネットワークを自己モデルとして利用することの利点と限界を探求する。
  論文  参考訳（メタデータ） (2023-06-07T13:58:45Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。