論文の概要: Do World Models Make Better Robots? A Survey of Evaluation Benchmarks for Predictive Embodied Intelligence

• arxiv url: http://arxiv.org/abs/2609.29669v1
• Date: Sun, 30 Aug 2026 11:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.104189
• Title: Do World Models Make Better Robots? A Survey of Evaluation Benchmarks for Predictive Embodied Intelligence
• Title（参考訳）: 世界モデルはより良いロボットを作るか? 予測的身体的知能評価ベンチマークの調査
• Abstract要約: 世界モデリングは直接的な政策よりも測定可能なクローズドループの優位性を得るだろうか? この分野はまだこの問題に答えられず、理由はモデル自体ではなく、その測定方法のギャップである、と我々は主張する。 2017年から2026年にかけて、160のWeb検証ベンチマークをカタログ化し、評価モード、ロボット機能、モデルファミリーを4車線にまとめました。
• 参考スコア（独自算出の注目度）: 20.90457097908955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot learning now advances along two tracks that rarely meet. On one side, direct Vision-Language-Action (VLA) policies map observations to actions and are scored by closed-loop task success. On the other, predictive and generative world models forecast future observations and are scored by open-loop prediction or generation quality. A natural question sits between them: does world modelling earn a measurable, closed-loop advantage over a direct policy, and for which robotic capabilities? We argue that the field cannot yet answer this question, and that the reason is a gap in how it is measured, not in the models themselves. World-model benchmarks score prediction without ever executing it, while task-success suites host a single policy and never build a world-model versus VLA contrast. This survey maps the evaluation landscape around that gap. We catalogue 160 web-verified benchmarks spanning 2017 to 2026 and organise them by evaluation mode, robotic capability, and model family into four lanes: policy suites, embodied agents, world model evaluation, and prediction-to-action bridges. Across the corpus, 138 of 160 benchmarks are model-agnostic and only 11 (7%) build an explicit VLA-versus-world-model contrast; counterfactual capability is almost entirely unmeasured, and only four benchmarks turn prediction into executed action. We contribute an operational taxonomy, a coverage comparison against the eight closest surveys (ours is the only one to cross capability with model family), an evaluation loop that isolates the advantage of prediction, and an actionable protocol of four advantage-aware metrics anchored on named testbeds. The organising claim is not that world models help or do not help, but that answering the question requires benchmarks built to ask it.
• Abstract（参考訳）: ロボット学習は、ほとんど会うことのない2つのトラックに沿って前進した。 一方、VLA(Direct Vision-Language-Action)ポリシーは、観測結果をアクションにマッピングし、クローズドループタスクの成功によってスコア付けする。 一方、予測的および生成的世界モデルは、将来の観測を予測し、オープンループ予測または生成品質によってスコア付けされる。 世界モデリングは直接的な方針よりも測定可能なクローズドループの優位性と、どのロボティクス能力を得るのか? この分野はまだこの問題に答えられず、理由はモデル自体ではなく、その測定方法のギャップである、と我々は主張する。 World-modelベンチマークはそれを実行せずに予測し、Task-successスイートは単一のポリシーをホストし、ワールドモデルとVLAのコントラストを構築することはない。 この調査は、そのギャップの周りの評価環境をマッピングする。 2017年から2026年にかけて、160のWeb検証ベンチマークを分類し、評価モード、ロボット能力、モデルファミリーを4つのレーン(ポリシースイート、実施エージェント、世界モデル評価、予測からアクションブリッジ)に分類する。 コーパス全体で、160ベンチマークのうち138ベンチマークはモデルに依存しず、明示的なVLA-対世界モデルコントラストを構築するのは11(7%)のみである。 運用分類、最も近い8つの調査(うちがモデルファミリーと交差する唯一の調査)に対するカバレッジ比較、予測の利点を分離する評価ループ、名前付きテストベッドに固定された4つの有利なメトリクスの実行可能なプロトコルに貢献する。 組織的主張は、世界モデルが助けになるか助けにならないかではなく、質問に答えるには、それを尋ねるために構築されたベンチマークが必要だ、というものである。

関連論文リスト

• Discriminative World Models for Web Agents [52.31107486410659]
  最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。 予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。 提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
  論文  参考訳（メタデータ） (2026-09-02T17:59:40Z)
• GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
  WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。 7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。 評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
  論文  参考訳（メタデータ） (2026-07-02T17:02:43Z)
• Wow, wo, val! A Comprehensive Embodied World Model Evaluation Turing Test [62.17144846428715]
  我々は、Embodied Turing Testベンチマーク: WoW-World-Eval (Wow,wo,val)を紹介する。 Wow-wo-valは知覚、計画、予測、一般化、実行の5つのコア能力を調べる。 Inverse Dynamic Model Turing Testでは、まずIMMを用いて、実世界におけるビデオ基盤モデルの実行精度を評価する。
  論文  参考訳（メタデータ） (2026-01-07T17:50:37Z)
• WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
  我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。 現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
  論文  参考訳（メタデータ） (2025-06-04T18:22:40Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。