論文の概要: Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models

• arxiv url: http://arxiv.org/abs/2605.06388v1
• Date: Thu, 07 May 2026 15:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.929428
• Title: Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models
• Title（参考訳）: レコンストラクションとセマンティックス : ロボットの世界モデルに潜伏空間が役立つ理由
• Authors: Nilaksh, Saurav Jha, Artem Zholus, Sarath Chandar,
• Abstract要約: 世界モデルに基づくポリシー評価は、アクション条件付きビデオモデルで候補アクションをロールアウトすることで、現実のロボット制御をテストするための実用的なプロキシである。 動作条件付きLDMの潜在空間を6つの再構成と意味エンコーダを比較して体系的に評価した。 本稿では,ロボットの世界モデルの性能を評価するために,視覚的忠実度,計画および下流ポリシー性能,潜在表現品質の3つの軸を提案する。
• 参考スコア（独自算出の注目度）: 19.753727433487
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: World model-based policy evaluation is a practical proxy for testing real-world robot control by rolling out candidate actions in action-conditioned video diffusion models. As these models increasingly adopt latent diffusion modeling (LDM), choosing the right latent space becomes critical. While the status quo uses autoencoding latent spaces like VAEs that are primarily trained for pixel reconstruction, recent work suggests benefits from pretrained encoders with representation-aligned semantic latent spaces. We systematically evaluate these latent spaces for action-conditioned LDM by comparing six reconstruction and semantic encoders to train world model variants under a fixed protocol on BridgeV2 dataset, and show effective world model training in high-dimensional representation spaces with and without dimension compression. We then propose three axes to assess robotic world model performance: visual fidelity, planning and downstream policy performance, and latent representation quality. Our results show visual fidelity alone is insufficient for world model selection. While reconstruction encoders like VAE and Cosmos achieve strong pixel-level scores, semantic encoders such as V-JEPA 2.1 (strongest overall on policy), Web-DINO, and SigLIP 2 generally excel across the other two axes at all model scales. Our study advocates semantic latent space as stronger foundation for policy-relevant robotics diffusion world models.
• Abstract（参考訳）: 世界モデルに基づくポリシー評価は、アクション条件付きビデオ拡散モデルにおいて、候補アクションをロールアウトすることで現実世界のロボット制御をテストするための実用的なプロキシである。 これらのモデルがLDM(Latent diffusion Modeling)を採用するにつれて、適切な遅延空間を選択することが重要となる。 ステータスクォーは、主にピクセル再構成のために訓練されたVAEのような自動エンコード潜在空間を使用するが、最近の研究は、表現整合したセマンティック潜在空間を持つ事前学習エンコーダの利点を示唆している。 我々は,6つの再構成とセマンティックエンコーダを比較し,BridgeV2データセット上の固定プロトコルの下で世界モデルの変種を訓練し,高次元表現空間における実効的な世界モデルの訓練を次元圧縮なしで行うことで,行動条件付きLDMのための潜在空間を体系的に評価した。 次に,ロボットの世界モデルの性能を評価するために,視覚的忠実度,計画および下流ポリシー性能,潜在表現品質の3つの軸を提案する。 その結果、視覚的忠実度だけでは世界モデル選択には不十分であることが判明した。 VAEやコスモスのような再構成エンコーダはピクセルレベルのスコアが強いが、V-JEPA 2.1(ポリシー全体)、Web-DINO、SigLIP 2といったセマンティックエンコーダは、すべてのモデルスケールで他の2つの軸に最適化されている。 本研究は,政策関連ロボット拡散世界モデルの基礎としてセマンティック潜伏空間を提唱する。

関連論文リスト

• World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
  視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
  論文  参考訳（メタデータ） (2026-04-29T17:48:01Z)
• Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory [53.39687409541093]
  Matrix-Game 3.0は、720pのリアルタイムビデオ生成用に設計されたメモリ拡張型インタラクティブワールドモデルである。 データ、モデル、推論にまたがる体系的な改善を導入する。 実験結果から, Matrix-Game 3.0は最大40FPSのリアルタイム生成を実現し, 5Bモデルで720pの解像度を実現した。
  論文  参考訳（メタデータ） (2026-04-10T06:00:09Z)
• EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation [55.26713167507132]
  本稿では,エンボディ空間の構築と解釈を行う生成ロボティクス基礎モデルを提案する。 EnerVerseは、自己回帰的ビデオ拡散フレームワークを使用して、命令から将来のエンボディドスペースを予測する。 本稿では,生成モデルと4次元ガウススプラッティングを組み合わせたデータエンジンパイプラインであるEnerVerse-Dについて述べる。
  論文  参考訳（メタデータ） (2025-01-03T17:00:33Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。