論文の概要: Rollback: Experience Backtracking in World Models for Policy Improvement

• arxiv url: http://arxiv.org/abs/2610.36068v1
• Date: Mon, 26 Oct 2026 18:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.394002
• Title: Rollback: Experience Backtracking in World Models for Policy Improvement
• Title（参考訳）: ロールバック:世界モデルにおける政策改善のためのバックトラック経験
• Abstract要約: アクション条件付き世界モデルは、ロボットポリシーを改善するためにコストのかかる現実世界のインタラクションに代わるスケーラブルな代替手段を提供する。 我々は、世界モデルを受動的シミュレータから対実エンジンに変換する政策改善パラダイムであるRollbackを紹介する。 我々は,非同期実ロボット実行による分散ワールドモデル検索を統一するスケーラブルなトレーニングシステムを構築した。
• 参考スコア（独自算出の注目度）: 55.421347090808844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action-conditioned world models offer a scalable alternative to costly real-world interaction for improving robot policies. However, existing world-model-based methods largely treat world models as forward-only surrogates of the physical environment, leaving untapped a capability no physical environment affords: rewinding to past decision points to explore counterfactual futures. We introduce Rollback, a policy improvement paradigm that turns world models from passive simulators into counterfactual engines: it rolls back to critical decision points, branches into alternative actions, and contrasts their outcomes to attribute success to individual decisions. This concentrates imagination where it matters most and distills counterfactual outcomes into fine-grained, action-level supervision without a separately learned value model. We build a scalable training system that unifies distributed world-model search with asynchronous real-robot execution, forming a self-reinforcing cycle: real-world experience continually sharpens the world model, and a sharper world model in turn drives further policy improvement. We term the world-model side of this cycle test-time physics grounding, a capability that hand-built physics simulators lack: while the world model serves as the training environment, real transitions from the policy it trains correct its dynamics through a lightweight LoRA pipeline. Experiments on three challenging real-world tasks show that Rollback improves success rates over the strongest baseline by an absolute 10.67%, 11.11%, and 11.85% on block extraction, ball tossing, and tabletop curling, respectively, while achieving more stable improvement throughout training. Although initialized from teleoperated demonstrations far below human level, Rollback surpasses the average success rate of human players on both ball tossing and tabletop curling within 8 hours of training.
• Abstract（参考訳）: アクション条件付き世界モデルは、ロボットポリシーを改善するためにコストのかかる現実世界のインタラクションに代わるスケーラブルな代替手段を提供する。 しかし、既存の世界モデルに基づく手法は、世界モデルを物理的環境の前方のみのサロゲートとして扱い、未解決の能力は物理的な環境にはない。 これは、世界モデルを受動的シミュレータから反ファクトエンジンに転換する政策改善パラダイムであり、重要な決定ポイントにロールバックし、代替アクションに分岐し、成功を個々の決定に当てはめる結果と対比する。 これは、最も重要となる想像力を集中させ、カウンターファクトの結果を個別に学習された価値モデルなしできめ細かなアクションレベルの監視に蒸留する。 我々は、非同期な実ロボット実行で分散ワールドモデル検索を統一し、自己強化サイクルを形成するスケーラブルなトレーニングシステムを構築します。 これは手作りの物理シミュレータが欠落する能力であり、世界モデルはトレーニング環境として機能する一方で、トレーニングするポリシーからの実際の遷移は、軽量のLoRAパイプラインを通してそのダイナミクスを修正します。 3つの挑戦的な実世界のタスクの実験では、ロールバックは最強のベースラインよりも絶対10.67%、11.11%、ブロック抽出、ボール投げ、テーブルトップカーリングで11.85%向上し、トレーニング全体を通してより安定した改善を達成している。 遠隔操作によるデモから初期化されているが、ロールバックはトレーニング8時間以内にボール投げとテーブルトップカーリングの両方で人間選手の平均成功率を上回っている。

関連論文リスト

• RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation [52.855830378221775]
  一般的なロボットポリシーを評価するためのスケーラブルな代替手段として、ビデオワールドモデルが登場しつつある。 タスクプログレス対応の視覚言語モデルスコアリングと,高速なビデオワールドモデルを組み合わせた自動評価パイプラインであるRoboWorldを紹介する。
  論文  参考訳（メタデータ） (2026-07-01T15:22:41Z)
• Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
  本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。 Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。 我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
  論文  参考訳（メタデータ） (2026-04-23T14:42:54Z)
• WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
  我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。 制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。 また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
  論文  参考訳（メタデータ） (2026-02-15T03:48:20Z)
• World-Gymnast: Training Robots with Reinforcement Learning in a World Model [4.491505634160759]
  本稿では、アクション条件付きビデオワールドモデルにポリシーをロールアウトすることで、視覚言語アクションポリシーのRL微調整を行うWorld-Gymnastを提案する。 Bridgeロボットのセットアップでは、World-GymnastはSFTを最大18倍上回り、ソフトウェアシミュレータを最大2倍上回る。 我々の結果は、クラウドで世界モデルを学び、ロボットポリシーを訓練することが、デモで作業するロボットと、誰でも使えるロボットのギャップを埋める鍵になり得ることを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T18:44:45Z)
• World4RL: Diffusion World Models for Policy Refinement with Reinforcement Learning for Robotic Manipulation [23.270985761700203]
  我々は,ロボット操作のための事前学習ポリシーを洗練させるために,拡散型世界モデルを高忠実度シミュレータとして利用するフレームワーク World4RL を提案する。 World4RLは、高忠実な環境モデリングを提供し、一貫したポリシー改善を可能にし、模倣学習に比べて成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-09-23T14:38:15Z)
• WorldGym: World Model as An Environment for Policy Evaluation [41.204900701616914]
  WorldGymは、実環境のプロキシとして機能する自動回帰、アクション条件付きビデオ生成モデルである。 ポリシーはモンテカルロの世界モデルによるロールアウトを通じて評価され、視覚言語モデルが報酬を提供する。 We show that WorldGym can maintain relative policy rankings across different policy version, sizes, and training checkpoints。
  論文  参考訳（メタデータ） (2025-05-31T15:51:56Z)
• Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
  この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。 スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
  論文  参考訳（メタデータ） (2025-01-17T10:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。