論文の概要: VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching

• arxiv url: http://arxiv.org/abs/2610.27280v1
• Date: Mon, 19 Oct 2026 20:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.500216
• Title: VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching
• Title（参考訳）: VPFlow: オフラインゴールリーチのための不完全な世界モデルによる価値予測計画
• Abstract要約: 正確な状態予測は、しばしば不要であるのに対し、価値予測は計画に有用であることを示す。 本稿では,世界モデルとワンステップフローポリシを組み合わせ,進化的探索によるノイズ空間の計画を行う価値予測プランナであるVPFlowを紹介する。
• 参考スコア（独自算出の注目度）: 8.813009385776708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline goal-conditioned reinforcement learning enables skill acquisition by reaching any goal from any state without dense rewards. Model-based methods allow for planning by scaling test-time compute to solve complex tasks. Combining both holds appealing promise for pre-training on suboptimal demonstrations and zero-shot adaptation via goal specification and planning. Yet existing methods assume effective planning requires accurate next-state prediction in pixel or latent space. In this work, we show that value prediction is more useful for planning, whereas accurate state prediction is often unnecessary. Our key insight is that offline goal reaching naturally admits a closed-form Monte Carlo return, enabling value regression to replace temporal-difference bootstrapping. We use this return as the sole supervision for latent world models: imagined latents are trained to predict goal-reaching value rather than match future states, implicitly preventing representation collapse. These planning-oriented representations let imperfect world models imagine on the level sets of value field beyond dataset transitions. We then present VPFlow, a value-predictive planner that pairs the world models with a one-step flow policy and plans in its noise space via evolutionary search. It enables policy improvement with imagined generalized advantage and reduces out-of-distribution queries common in action-space planning. On 30 state and pixel OGBench datasets, VPFlow surpasses model-free baselines by at least 30.3 and 10.1 percentage points in success rate, respectively, and outperforms latent planners LeWorldModel, PLDM, and TD-MPC2. It achieves this despite a latent prediction error orders of magnitude larger than with state prediction, while minimizing this error lowers success rate. This demonstrates that value-predictive representations, not exact state prediction, are what offline planning requires.
• Abstract（参考訳）: オフラインの目標条件強化学習は、深い報酬のない任意の状態から目標を達成することによって、スキル獲得を可能にする。 モデルベースの手法では、複雑なタスクを解決するためにテスト時間計算をスケールして計画することができる。 どちらも、準最適デモンストレーションの事前トレーニングと、目標仕様と計画によるゼロショット適応のための魅力的な約束を持っている。 しかし、既存の手法では、有効計画にはピクセルまたは潜在空間における正確な準状態予測が必要であると仮定している。 本研究では,正確な状態予測がしばしば不要であるのに対して,価値予測は計画に有用であることを示す。 私たちの重要な洞察は、オフラインのゴールに到達することは、自然にクローズドフォームのMonte Carloリターンを認め、時間差のブートストラッピングを置き換える価値の回帰を可能にします。 私たちはこのリターンを、潜伏した世界モデルのための唯一の監督手段として使用しています。 これらの計画指向の表現は、データセットの遷移を超えた値フィールドのレベルセットで不完全な世界モデルを想像することを可能にする。 次に、世界モデルと1ステップのフローポリシーを組み合わせ、進化的探索を通じてそのノイズ空間を計画する価値予測プランナーであるVPFlowを紹介します。 これは、一般化された利点を想像して政策改善を可能にし、行動空間計画で一般的な分配外クエリを減らす。 30の状態とピクセルのOGBenchデータセットでは、VPFlowはモデルフリーベースラインを少なくとも30.3ポイント、成功率10.1ポイント以上越え、潜在プランナーのLeWorldModel、PLDM、TD-MPC2を上回っている。 遅延予測エラー命令は状態予測よりも桁違いに大きいが、このエラーを最小化することは成功率を低下させる。 これは、正確な状態予測ではなく、値予測表現がオフライン計画に必要なものであることを示す。

関連論文リスト

• Beyond Action Prediction: Learning Search-Free Planning in Latent Space [32.44864607845711]
  Hindsight Inverse JEPA Planning(HIJP)は、トレーニング中の両方の側面に対処する検索不要のフレームワークである。 4つの視覚制御タスクの中で、HIJPは86.8%の成功と1.9-16.5倍の計画スピードアップを達成した。
  論文  参考訳（メタデータ） (2026-10-16T15:26:24Z)
• EpicWorldModel: Exploration-driven Planning with Latent World Models [37.39681749535708]
  JEPA(Joint-Embedding Predictive Architecture)に基づく潜在世界モデルは設計によって決定論的である。 EpicWorldModelは、部分的に可観測性の下で固有の不確実性のある環境やタスクに対してJEPAsをトレーニングするフレームワークです。 本研究では, 予測エントロピー上界との関係から, 流れの予測分散が, 計画立案に有用な探索指針となることを示す。
  論文  参考訳（メタデータ） (2026-10-05T08:49:27Z)
• Action-Consequence Alignment for Reliable Planning and Self-Improving in Latent World Models [50.093046379641315]
  学習された世界モデルが類似した行動結果対応を維持しているかどうかを検討する。 その結果、近くの代替手段は、記録された目標から遠く離れた物理的結果を生み出すにもかかわらず、より低い予測誤差を得られることが示された。 これらの結果は、予測学習と信頼性プランニングをブリッジする実践原則として、アクション・エフェクト・アライメントを支援する。
  論文  参考訳（メタデータ） (2026-10-03T14:12:16Z)
• Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
  複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。 状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。 動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
  論文  参考訳（メタデータ） (2026-09-27T14:12:27Z)
• LeFlow: Generative Latent Flow Planning for World Models [25.440423602180278]
  本稿では,世界モデルから潜在力学空間を直接操作する前に,再利用可能な潜在軌道を学習するLeFlowについて述べる。 4つの主要なゴール条件付きピクセル制御ベンチマークの中で、LeFlowは反復的なアクション空間最適化を償却された潜在計画に置き換えている。 我々の研究結果は、潜在世界モデルは予測だけでなく、再利用可能な計画事前をサポートするべきだと主張している。
  論文  参考訳（メタデータ） (2026-08-25T17:42:30Z)
• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• PRISM: PRior-guided Imagination Sampling in world Models [7.304186330343712]
  PRISMは1つのデータセットから両方を抽出するタスクに依存しないフレームワークである。 PRISMは、Cube上のバニラワールドモデルベースのMPCよりも35パーセント、PushTでは32パーセント、成功率を改善する。
  論文  参考訳（メタデータ） (2026-06-06T04:18:10Z)
• VFMF: World Modeling by Forecasting Vision Foundation Model Features [67.09340259579761]
  本稿では,視覚基礎モデルの特徴空間における自己回帰フローマッチングを行う生成予測器を提案する。 この潜伏情報の方がPCAベースの代替案よりも効果的であることを示す。 一致したアーキテクチャと計算により、本手法はすべてのモダリティにおける回帰よりもシャープで正確な予測を生成する。
  論文  参考訳（メタデータ） (2025-12-12T02:10:05Z)
• Bootstrap Off-policy with World Model [59.129118672069644]
  ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。 BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-01T06:33:04Z)
• Autoregressive End-to-End Planning with Time-Invariant Spatial Alignment and Multi-Objective Policy Refinement [15.002921311530374]
  自動回帰モデルは、自動運転におけるエンドツーエンドの計画のための、強烈なベースラインである。 彼らのパフォーマンスは、過去の知覚データに将来の行動を条件にする必要があるため、時間的ミスアライメントによって制約される。 本稿では,初期環境特徴を一貫したエゴ中心のフレームに投影する時間不変アライメント(TISA)モジュールを提案する。 また、DPO(Direct Preference Optimization)を用いた多目的ポストトレーニングのステージを導入し、純粋な模倣を克服する。
  論文  参考訳（メタデータ） (2025-09-25T09:24:45Z)
• UnLoc: Leveraging Depth Uncertainties for Floorplan Localization [80.55849461031879]
  UnLocはフロアプラン内のシーケンシャルカメラローカライゼーションのための効率的なデータ駆動ソリューションである。 本研究では,不確実性推定を組み込んだ新しい確率モデルを導入し,深度予測を明示的な確率分布としてモデル化する。 我々はUnLocを大規模合成および実世界のデータセット上で評価し、精度とロバスト性の観点から大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-09-14T14:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。