論文の概要: Back on Track: Deployment-time Policy Improvement via World Model Planning

• arxiv url: http://arxiv.org/abs/2610.19579v1
• Date: Wed, 14 Oct 2026 04:48:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.963823
• Title: Back on Track: Deployment-time Policy Improvement via World Model Planning
• Title（参考訳）: Back on Track: 世界モデルプランニングによるデプロイメント時のポリシ改善
• Abstract要約: 最先端のvisuomotorポリシは、複雑なタスクを実行する能力がますます高まっているが、それ自体では予測やリカバリができない方法でデプロイメント中に失敗する可能性がある。 ブラックボックスクエリアクセスのみを使用して、デプロイ中のポリシーを改善するオフラインでトレーニングされたモニタリング・アンド・インターベンションフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.600435152146764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art visuomotor policies are increasingly capable of executing complex tasks, yet can fail during deployment in ways they cannot predict or recover from on their own. Improving their performance and robustness typically requires collecting more data, retraining, or modifying the policy architecture, all of which are time- and resource-intensive in practice. We instead propose an offline-trained monitoring-and-intervention framework that improves a policy during deployment using only black-box query access. From a limited set of labeled on-policy rollouts, we learn a policy-conditioned liveness value that measures the nominal policy's progress toward task completion; we additionally train a compact latent world model using these rollouts together with play data. At deployment, the liveness value continuously monitors execution. When it detects a loss of progress, a short-horizon planner searches the world model for corrective actions using the same value as its planning objective, after which control returns to the nominal policy. We evaluate our method on the LIBERO-Goal task suite and on a Franka Panda manipulator, using the vision-language-action model $π_{0.5}$ and a diffusion policy as nominal policies, and demonstrate significant improvements in task success rates, while supporting real-time control. Additional results and videos are available on the project website (https://policy-improvement-wm.pages.dev/).
• Abstract（参考訳）: 最先端のvisuomotorポリシは、複雑なタスクを実行する能力がますます高まっているが、それ自体では予測やリカバリができない方法でデプロイメント中に失敗する可能性がある。 パフォーマンスと堅牢性を改善するには、一般的により多くのデータ収集、再トレーニング、あるいはポリシーアーキテクチャの変更が必要です。 代わりに、ブラックボックスクエリアクセスのみを使用してデプロイメント中のポリシーを改善する、オフラインでトレーニングされたモニタリング・インターベンションフレームワークを提案する。 ラベル付きオンラインロールアウトの限定セットから,タスク完了に向けた名目政策の進捗を計測する,政策条件付きライブネス値を学び,これらのロールアウトとプレイデータとを併用して,コンパクトな潜在世界モデルをトレーニングする。 デプロイ時に、ライブ値は継続的に実行を監視します。 進行の喪失を検出すると、短期計画立案者は計画目標と同じ値を用いて世界モデルを探索し、その後制御を名目上の方針に戻す。 本手法はLIBERO-GoalタスクスイートとFranka Pandaマニピュレータ上で,視覚-言語-アクションモデルである$π_{0.5}$と拡散ポリシを名目上のポリシとして評価し,タスク成功率の大幅な向上とリアルタイム制御のサポートを両立させた。 追加の結果とビデオはプロジェクトのWebサイトで公開されている(https://policy-improvement-wm.pages.dev/)。

関連論文リスト

• Reward-DAgger: Robot-Gated Interactive Imitation Learning with General-Purpose Progress-Based Reward Models [4.470775998553155]
  本稿では,ロボットによる対話型模倣学習フレームワークReward-DAggerを紹介する。 一般的な報酬モデルからの高密度な進行信号を使用して、人間の介入が必要なタイミングを判断する。 以上の結果から,Reward-DAggerは既存の監視ベースラインよりも,障害検出精度とレイテンシのトレードオフが優れていることがわかった。
  論文  参考訳（メタデータ） (2026-10-02T21:05:23Z)
• CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning [6.586422759470378]
  提案するCAST(Critic with Alternating State-value Target)は、プランナー誘導行動を用いて価値学習を改善しつつ、現在の方針で価値見積を規則化する。 我々はDeepMind ControlとHumanoidBench SuitesのCASTをいくつかの最先端手法に対して評価し、動的ハンドスタンドを実行する物理Unitree Go2rupedへの転送に成功したことを示す。
  論文  参考訳（メタデータ） (2026-09-08T15:05:16Z)
• OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks [17.773038952370865]
  本稿では,ループポリシーを中心とした自己進化フレームワークであるOpenLoopEvolve(OLE)について述べる。 OLEは、エージェントの観察、計画、記憶、行動、検証、回復、停止、予算管理を、バージョンと系統を持つポータブルなポリシー資産として表現する。 オンラインモードは連続的な操作からのフィードバックに基づいて候補生成をトリガーし、オフラインモードはアーカイブされたトレースと障害証拠から候補ポリシーを検索する。
  論文  参考訳（メタデータ） (2026-08-10T09:57:26Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Optimizing Task Completion Time Updates Using POMDPs [19.609728118458758]
  アナウンスされたタスク完了時間の管理は、プロジェクト管理における基本的な制御の問題である。 タスク発表問題を部分観測可能なマルコフ決定プロセス(POMDP)として定式化する。 報奨構造は、通知エラーと更新頻度の2つのコストを捕捉し、最適な通知制御ポリシーの合成を可能にする。
  論文  参考訳（メタデータ） (2026-03-12T18:03:18Z)
• $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
  ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。 このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。 未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:35:23Z)
• Bootstrap Off-policy with World Model [59.129118672069644]
  ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。 BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-01T06:33:04Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。