論文の概要: WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions
- arxiv url: http://arxiv.org/abs/2610.18826v3
- Date: Wed, 21 Oct 2026 12:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:05.949803
- Title: WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions
- Title（参考訳）: WorldOracle: 実世界の実行に対するアクション駆動の世界モデルのベンチマーク
- Abstract要約: 実世界のペア実行に対する行動条件付き世界モデル(ACWM)を評価するために設計されたベンチマークであるWorldOracleを紹介する。
物理状態の正しさ、相互作用空間のアライメント、鍵相互作用領域の忠実度、マルチビューアクションコヒーレンスという4つの相補的な次元に沿ったモデルを評価する。
7つの代表的なACWMの実験により、異なるモデル強度と故障モードが明らかとなった。
- 参考スコア（独自算出の注目度）: 47.440667084868345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce WorldOracle, a benchmark specifically designed to evaluate action-conditioned world models (ACWMs) against paired real-world executions. Given the same initial observation and low-level action sequence, WorldOracle asks whether a predicted rollout reproduces what happens in the real world, including physical consequences and task-state transitions. We evaluate models along four complementary dimensions: physical state correctness, interaction spatial alignment, key interaction area fidelity, and multi-view action coherence. To support this evaluation, we curate real-world training and evaluation suites that cover different interaction dynamics and embodiments. The evaluation suite contains long, multi-segment episodes with both successful and failed executions, enabling evaluation across varied action outcomes and behavior distributions. Experiments on seven representative ACWMs reveal distinct model strengths and failure modes. WorldOracle provides a systematic foundation for measuring and advancing action-conditioned world modeling for manipulation. We release the datasets, evaluation code, and leaderboard: https://worldoracle-benchmark.github.io/.
- Abstract（参考訳）: 我々は,実世界のペア実行に対する行動条件付き世界モデル(ACWM)の評価に特化して設計されたベンチマークであるWorldOracleを紹介する。
同じ初期観測と低レベルのアクションシーケンスを前提として、WorldOracleは、予測されたロールアウトが、物理的な結果やタスク状態遷移を含む、現実世界で何が起きているかを再現するかどうかを尋ねる。
我々は,物理状態の正しさ,空間的アライメント,鍵相互作用領域の忠実度,多視点動作コヒーレンスという4つの相補的次元に沿ったモデルを評価する。
この評価を支援するために、様々な相互作用のダイナミクスと実施形態をカバーする実世界のトレーニングと評価スイートをキュレートする。
評価スイートは、成功と失敗の両方の長い多重セグメントエピソードを含み、さまざまな行動結果と行動分布を評価することができる。
7つの代表的なACWMの実験により、異なるモデル強度と故障モードが明らかとなった。
WorldOracleは、操作のためのアクション条件付き世界モデリングの測定と前進のための体系的な基盤を提供する。
データセット、評価コード、リーダーボードをリリースします。
関連論文リスト
- ReWAM: Reciprocal World Action Models for Interactive Autonomous Driving [4.9178373469310275]
対話的なシナリオでは、他のエージェントの行動の影響下でエゴ行動を生成するために自律運転システムが必要である。
ゲーム理論の世界アクションモデリングフレームワークであるReciprocal World Action Models (ReWAM)を紹介する。
我々のフレームワークはNAVSIMデータセットに基づいて評価され,ベースラインと比較して最先端の性能を実現している。
論文 参考訳（メタデータ） (2026-09-30T08:12:56Z) - Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。
本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。
RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
論文 参考訳（メタデータ） (2026-08-25T17:59:49Z) - WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform [130.8118909583659]
本稿では,世界モデル評価のための拡張ベンチマークであるWorldArena 2.0を紹介する。
WorldArena 2.0は、モダリティ、機能、プラットフォームという3つの次元で、具現化された世界モデルの評価を体系的に拡張する。
WorldArena 2.0は、標準化されたプロトコルの下で、知覚品質、インタラクティブなユーティリティ、クロスプラットフォームのパフォーマンスを包括的に評価する。
論文 参考訳（メタデータ） (2026-05-18T06:18:21Z) - iWorld-Bench: A Benchmark for Interactive World Models with a Unified Action Generation Framework [27.208236690012914]
iWorld-Benchは、インタラクション関連の能力に関するワールドモデルのトレーニングとテストのためのベンチマークである。
330kのビデオクリップによる多様なデータセットを構築し、さまざまな視点、天気、シーンをカバーする2.1kの高品質なサンプルを選択した。
論文 参考訳（メタデータ） (2026-05-05T16:30:03Z) - Beyond State Consistency: Behavior Consistency in Text-Based World Models [58.216587360435305]
本研究では,世界モデルと実環境の機能的整合性を改善することを目的とした,行動整合性トレーニングパラダイムを提案する。
WebShopとTextWorldの実験では、BehRベースのトレーニングによって、いくつかの設定における長期的なアライメントが改善されている。
論文 参考訳（メタデータ） (2026-04-15T12:56:45Z) - World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。
本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
論文 参考訳（メタデータ） (2026-04-02T12:48:36Z) - WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models [114.95269118652163]
We introduced WorldArena, an unified benchmark designed for embodied world model across both perceptual and functional dimensions。
WorldArenaは、6つのサブ次元にまたがって16のメトリクスで測定されたビデオ知覚品質、データエンジンとして世界モデルを評価する実施されたタスク機能、ポリシー評価ツール、主観的な人間の評価と統合されたアクションプランナーの3つの次元でモデルを評価する。
14の代表的なモデルに対する広範囲な実験を通して、視覚的品質が必ずしも強い具体的タスク能力に変換されるとは限らないことを示す、重要な知覚-機能的ギャップを明らかにする。
論文 参考訳（メタデータ） (2026-02-09T18:09:20Z) - Adapting Vision-Language Models for Evaluating World Models [24.813041196394582]
データおよび計算制約下でのシミュレーション環境におけるロールアウトに対する視覚言語評価手法であるUNIVERSEを提案する。
本研究では,タスク形式,コンテキスト長,サンプリング戦略,データ構成を網羅した,完全,部分的,パラメータ効率の微調整を大規模に検討する。
その結果得られた統合評価器は、単一のチェックポイントを使用してタスク固有のベースラインのパフォーマンスにマッチする。
論文 参考訳（メタデータ） (2025-06-22T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。