論文の概要: RoboPhys-3D: A Comprehensive Embodied World Model Evaluation via 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2608.28718v1
• Date: Fri, 28 Aug 2026 09:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.731262
• Title: RoboPhys-3D: A Comprehensive Embodied World Model Evaluation via 3D Reconstruction
• Title（参考訳）: RoboPhys-3D:3次元再構成による包括的世界モデル評価
• Abstract要約: 我々は,RoboTwin 2.0上に構築された3DグラウンドのEWM(Embodied World Model)ベンチマークであるRoboPhys-3Dを紹介する。 RoboPhys-3Dの明確な特徴は、生成されたビデオと地上の映像が同じ3D再構成パイプラインで処理されることである。 このベンチマークでは、50の補完的なメトリクスを、ピクセルレベルの忠実度、3次元の幾何整合性、状態レベルの理解、タスクレベルの完全性という、4つのレベルにわたる18のサブディメンジョンにまとめている。
• 参考スコア（独自算出の注目度）: 24.674633972725804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video world models increasingly serve as data engines, action planners, and simulators for embodied AI, but conventional embodied world model (EWM) benchmarks lack a unified 3D-grounded protocol for establishing whether generated rollouts preserve the underlying 3D scene state or translate into executable actions. We introduce RoboPhys-3D, a 3D-grounded EWM benchmark built on RoboTwin 2.0, covering 50 manipulation tasks across four regimes, with 5,000 episodes and 25,000 multi-view ground-truth videos. A defining feature of RoboPhys-3D is that generated and ground-truth videos are processed through the same 3D reconstruction pipeline, enabling reconstruction-induced error to be distinguished from generation-induced error. The RoboPhys-3D benchmark organizes 50 complementary metrics into 18 sub-dimensions across four levels: pixel-level fidelity, 3D geometry consistency, state-level understanding, and task-level completeness. We further introduce Average Full Score, a hierarchical score averaging all 50 metrics for comprehensive evaluation, and RoboPhyscore, a compact task-aligned score averaging the metrics most strongly correlated with task success. Among the four representative video world models, Cosmos 3 achieves the highest RoboPhyscore (0.6330, 92.7% of ground truth), while state- and execution-grounded metrics reveal substantial failures that perceptual and vision-language model-based judgments fail to capture. RoboPhyscore further exhibits strong agreement with human evaluation (Pearson r = 0.9761 and Spearman \r{ho} = 0.8962), demonstrating the importance of grounded, execution-aware evaluation for EWM capability.
• Abstract（参考訳）: ビデオワールドモデルは、ますますデータエンジン、アクションプランナー、AIのシミュレータとして機能するが、従来のエンボディドワールドモデル(EWM)ベンチマークでは、生成されたロールアウトが基礎となる3Dシーンの状態を保存するか、実行可能なアクションに変換するための統一された3Dグラウンドのプロトコルが欠如している。 我々は,RoboTwin 2.0上に構築された3DグラウンドEWMベンチマークであるRoboPhys-3Dを紹介した。 RoboPhys-3Dの明確な特徴は、生成されたビデオと地上の映像が同じ3D再構成パイプラインを通して処理され、再生によるエラーと生成によるエラーを区別できるようにすることである。 RoboPhys-3Dベンチマークは、50の相補的なメトリクスを4つのレベル(ピクセルレベルの忠実さ、3D幾何の整合性、状態レベルの理解、タスクレベルの完全性)で18のサブ次元にまとめている。 さらに、包括的な評価のために50のメトリクスを平均化する階層的なスコアであるAverage Full Scoreと、タスク成功に最も強く相関するメトリクスを平均化するコンパクトなタスク整合スコアであるRoboPhyscoreを紹介します。 代表的な4つのビデオワールドモデルのうち、コスモス3号は最高峰のロボパスコア (0.6330, 92.7%) を達成し、一方、国家および実行基準のメトリクスは、知覚的および視覚言語モデルに基づく判断が捉えられない重大な失敗を明らかにしている。 さらに、Pearson r = 0.9761 と Spearman \r{ho} = 0.8962 との強い一致を示し、EWM 能力に対する基礎的かつ実行に配慮した評価の重要性を示している。

関連論文リスト

• RigidBench: Evaluating Rigid-Body Physics in Video Generation Models [16.53417077740312]
  そこで本研究では,生成した継続と参照ロールアウトを同一の初期フレームと動作記述から比較したシミュレータグラウンドベンチマークを提案する。 同じ100の例で8つのモデルを評価し、これらの側面を分離する10の計測を行った。 完全な微調整により3次元軌道誤差は約20%減少し、SSIMはほとんど変化しない。
  論文  参考訳（メタデータ） (2026-08-16T06:05:20Z)
• KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding [58.541098216700796]
  エンボディド・ワールド・モデルの 物理的整合性を評価することは 重要なオープン・チャレンジです 既存のフレームワークはほとんどがアクション抽出に逆ダイナミクスモデル(IDM)に依存している。 IDMのないEWMのためのクローズドループベンチマークであるKineBenchを紹介する。
  論文  参考訳（メタデータ） (2026-07-22T08:04:17Z)
• Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
  We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。 我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
  論文  参考訳（メタデータ） (2026-07-07T17:59:47Z)
• WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models [37.59051701511746]
  4次元にわたる長期安定のためのオープンワールドベンチマークであるWorldRoamBenchを紹介する。 このベンチマークは、WASD 10-60sの連続的なインタラクションで、Nature、Urban、Indoorの各シーンで600以上のテストケースで構成されている。
  論文  参考訳（メタデータ） (2026-06-30T13:51:44Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
  ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。 GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。 Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
  論文  参考訳（メタデータ） (2026-05-20T21:36:44Z)
• PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning [5.308328605042682]
  360パノラマ画像は、バーチャルリアリティー、自律運転、総合的なシーン理解のためのロボティクスでますます利用されている。 現在の視覚言語モデル(VLM)は、幾何学的歪みと限定的な3次元監督のため、等角射影(ERP)画像の空間的推論に苦慮している。 合成3D環境から構築した大規模VQAベンチマークであるPanoEnvを紹介する。 我々の7Bモデルは、新しい最先端性能を実現し、全体的な精度を52.93%(+3.59%)、オープンエンド精度を14.83%に改善し、構造化タスク性能を維持した。
  論文  参考訳（メタデータ） (2026-02-25T15:12:17Z)
• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。