論文の概要: Video World Models Need Predictable Latents

• arxiv url: http://arxiv.org/abs/2610.34663v1
• Date: Mon, 26 Oct 2026 00:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.658785
• Title: Video World Models Need Predictable Latents
• Title（参考訳）: 動画の世界モデルには予測可能な潜伏者が必要
• Abstract要約: 我々は、将来の観測の正確な予測を犠牲にすることなく、将来の予測をできるだけシンプルにするために最適化された潜時幾何学が両世界のベストを達成することができることを示した。 ゲインには、最大で5倍の低い推論、より高速なトレーニング、7倍の高速トレーニング、15-24%の低いピクセルと知覚上のエラー、分散や長い地平線でのエラーが含まれる。
• 参考スコア（独自算出の注目度）: 5.946719107124948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video world models trained on large-scale robot data promise a safe and scalable approach for learning and evaluating policies that act in the physical world. However, they still struggle with long-horizon rollouts and out-of-distribution generalization, and they remain computationally demanding at inference time. Typically, video world models make predictions in the latent space of a reconstruction-trained autoencoder, which however is not directly optimized for dynamics modeling. On the other hand, world models designed for latent planning usually optimize latents to be predictable, but they forgo accurate prediction of observations in pixel space. In this paper, we show that it is possible to achieve the best of both worlds: a latent geometry optimized to make future prediction as simple as possible without sacrificing accurate prediction of future observations. More precisely, we find that temporal objectives for representation learning, paired with a past-conditioned decoder architecture, lead to consistent improvements in generative video world models at the same training budget. The gains include up to 5x cheaper inference, over 7x faster training, and 15-24% lower pixel and perceptual errors out of distribution and over long horizons. Our world models also agree more closely with real-world policy evaluation when using a vision-language model to judge task success from their pixel-space predictions. Overall, our study indicates that temporal predictability is an important design criterion for the latent space of video world models, and provides concrete guidance on how to incorporate it into the training of autoencoders.
• Abstract（参考訳）: 大規模なロボットデータに基づいてトレーニングされたビデオワールドモデルは、物理的な世界で行動するポリシーを学習し評価するための安全でスケーラブルなアプローチを約束する。 しかし、彼らは依然として長期のロールアウトや分布外一般化に苦慮しており、推論時に計算的に要求される。 典型的には、ビデオワールドモデルは再構成訓練されたオートエンコーダの潜在空間で予測を行うが、動的モデリングには直接最適化されない。 一方、潜伏計画のために設計された世界モデルは、通常、潜伏者を予測できるように最適化するが、ピクセル空間における観測の正確な予測を強制する。 本稿では、将来の観測の正確な予測を犠牲にすることなく、将来の予測をできるだけシンプルにするために最適化された潜時幾何学を用いて、両方の世界のベストを達成できることを述べる。 より正確には、過去のデコーダアーキテクチャと組み合わせた表現学習の時間的目標が、同じトレーニング予算で生成ビデオワールドモデルに一貫した改善をもたらすことが分かる。 ゲインには、最大で5倍の低い推論、より高速なトレーニング、7倍の高速トレーニング、15-24%の低いピクセルと知覚上のエラー、分散や長い地平線でのエラーが含まれる。 我々の世界モデルは、視覚言語モデルを用いて、ピクセル空間の予測からタスク成功を判断する際に、現実世界の政策評価とより密接に一致する。 本研究は,ビデオワールドモデルの潜在空間において,時間的予測可能性が重要な設計基準であることを示し,オートエンコーダのトレーニングに組み込む方法について具体的なガイダンスを提供する。

関連論文リスト

• FutureWorlds: Learning Robotic World Models from Alternative Futures [63.860917821424955]
  FutureWorldsは、候補構築、履歴の保守、相対的な品質からの学習を統合するフレームワークである。 マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
  論文  参考訳（メタデータ） (2026-10-01T04:04:31Z)
• Say, Dream, and Act: Learning Video World Models for Instruction-Driven Robot Manipulation [31.881404705268356]
  本稿では,高速かつ予測可能な映像調和行動のためのフレームワークを提案する。 提案手法はまず,信頼性の高い将来予測を保証するために,ロバストなビデオ生成モデルを選択し,適応する。 本手法は,時間的コヒーレントで空間的精度の高い映像予測を行い,正確な操作を直接支援する。
  論文  参考訳（メタデータ） (2026-02-11T10:23:52Z)
• Semantic World Models [11.950909271505923]
  世界モデルによる計画は、ロボット制御の強力なパラダイムを提供する。 本稿では,将来的なフレームをピクセルとして再構成するのではなく,タスク関連セマンティック情報のみを予測する必要があることを示唆する。
  論文  参考訳（メタデータ） (2025-10-22T17:53:45Z)
• Back to the Features: DINO as a Foundation for Video World Models [29.116268020812072]
  我々は、DINOv2の潜在空間における将来のフレームを予測するために訓練された、強力なジェネラリストビデオワールドモデルであるDINO-worldを紹介する。 トレーニング済みの画像エンコーダを活用して、大規模未処理ビデオデータセット上で将来の予測器をトレーニングすることにより、DINO-worldは多様なシーンの時間的ダイナミクスを学習する。
  論文  参考訳（メタデータ） (2025-07-25T17:54:10Z)
• RLVR-World: Training World Models with Reinforcement Learning [41.04369775904968]
  検証可能な報酬で強化学習を活用する統合フレームワークであるRLVR-Worldを提案する。 我々は,テキストゲーム,Webナビゲーション,ロボット操作など,ドメイン間の言語およびビデオベースの世界モデルにおいて,大幅なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-05-20T05:02:53Z)
• Learning 3D Persistent Embodied World Models [84.40585374179037]
  我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。 映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。 この生成は、環境の永続的な3Dマップに集約される。
  論文  参考訳（メタデータ） (2025-05-05T17:59:17Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Predictive World Models from Real-World Partial Observations [66.80340484148931]
  本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。 従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T02:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。