論文の概要: DRILL: Training World Models to Improve Policies, Not Predict Pixels

• arxiv url: http://arxiv.org/abs/2610.30814v1
• Date: Thu, 22 Oct 2026 06:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.23856
• Title: DRILL: Training World Models to Improve Policies, Not Predict Pixels
• Title（参考訳）: DRILL:世界のモデルを訓練して政策を改善する
• Abstract要約: 本稿では,世界モデルを更新するバイレベルフレームワークを提案する。このフレームワークは,構想されたロールアウトに関するGRPO内部更新後のポリシのリターンを最大化する。 DRILL-IMGはWMPOより平均13.1ポイント、RLVR-Worldより7.9ポイント、RLVRプリトレーニングを補完する。
• 参考スコア（独自算出の注目度）: 11.18959073662556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models are increasingly used to reduce environment interaction when post-training vision-language-action (VLA) policies with reinforcement learning. Yet they are typically trained to predict pixels one step ahead, even though their role here is not merely to render visually faithful videos but to produce learning signals from imagined rollouts that improve the policy. We show that this mismatch is substantial: lower pixel MSE can produce worse policy gradients, and a world model trained for policy utility can yield better downstream policies despite 17% higher pixel MSE on the next frame. We propose the Downstream-Return Imagination Learning Loop (DRILL), a bilevel framework that updates the world model to maximize the policy's return after an inner GRPO update on imagined rollouts. DRILL has two instantiations. DRILL-VWI is a closed-form surrogate, requiring no additional simulator rollouts, that reweights prediction errors by policy visitation, the group-relative GRPO advantage, and model confidence. DRILL-IMG is a full meta-gradient method that differentiates through the inner update using truncated Hessian-vector products. We show that DRILL-VWI recovers the local one-step component of the DRILL-IMG meta-gradient under score-compatibility and small-residual assumptions. Across five manipulation simulators and two VLA backbones, DRILL-IMG raises mean success rate by 13.1 points over WMPO and 7.9 points over RLVR-World, and complements RLVR pretraining rather than competing with it. More broadly, we believe video world models for VLA reinforcement learning can be productively trained by the policy gradients they produce, not only by pixel-level prediction.
• Abstract（参考訳）: 世界モデルは、強化学習による視覚-言語-行動(VLA)政策の訓練後における環境相互作用の低減にますます利用されている。 彼らの役割は、視覚的に忠実なビデオをレンダリングするだけでなく、そのポリシーを改善するための想像上のロールアウトから学習信号を生成することにある。 より低いピクセルMSEは、より悪いポリシー勾配を生じさせ、ポリシーユーティリティのために訓練された世界モデルは、次のフレームで17%高いピクセルMSEにもかかわらず、より優れた下流ポリシーをもたらすことができる。 本稿では,世界モデルを更新し,想起されたロールアウトのGRPO内部更新後のポリシーのリターンを最大化する,双方向のフレームワークであるDownstream-Return Imagination Learning Loop (DRILL)を提案する。 DRILLには2つのインスタンスがある。 DRILL-VWIはクローズド形式のサロゲートであり、追加のシミュレータのロールアウトを必要としない。 DRILL-IMGは、ヘッセンベクター製品を使った内部更新を通じて、完全なメタグラディエントな方法である。 DRILL-VWIはDRILL-IMGメタ段階の局所的なワンステップ成分を,スコア適合性と小残差仮定の下で復元することを示した。 5つの操作シミュレータと2つのVLAバックボーンで、DRILL-IMGはWMPOよりも13.1ポイント、RLVR-Worldより7.9ポイント、RLVRプリトレーニングを補完する。 より広範に、VLA強化学習のためのビデオワールドモデルは、ピクセルレベルの予測だけでなく、それらが生み出すポリシー勾配によって生産的に訓練できると考えている。

関連論文リスト

• World Tokens: Enhancing Embodied Policies with Training-Time World Modeling [29.442423651761107]
  私たちはWorld Tokensを紹介します。World Adapterを中心に構築された、具体化されたポリシーアーキテクチャです。 World Tokensは視覚言語理解、ワールドダイナミックスモデリング、アクション生成を橋渡しする。 SIMPLEで報告された最高の平均値を取得し、一致したアクションのみのベースラインよりも実世界のR1 Proの成功を大幅に改善し、VLAレベルのレイテンシで各アクションチャンクを生成する。
  論文  参考訳（メタデータ） (2026-08-10T15:30:38Z)
• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
  我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。 制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。 また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
  論文  参考訳（メタデータ） (2026-02-15T03:48:20Z)
• VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model [87.75549463328836]
  本研究の目的は、反復的なオンラインインタラクションにより、視覚言語アクション(VLA)モデルの性能と信頼性を向上させることである。 本稿では,実世界のロールアウトデータを用いて,世界モデルの忠実度を向上する簡易な反復改善アルゴリズムを提案する。 基本方針よりも39.2%の絶対成功率向上と、生成した合成ロールアウトによるトレーニングによる11.6%の改善を実現している。
  論文  参考訳（メタデータ） (2026-02-12T15:21:47Z)
• World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
  World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。 本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
  論文  参考訳（メタデータ） (2026-02-06T08:57:55Z)
• Bootstrap Off-policy with World Model [59.129118672069644]
  ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。 BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-01T06:33:04Z)
• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。