論文の概要: HappyWorld-Bench

• arxiv url: http://arxiv.org/abs/2609.24308v1
• Date: Mon, 21 Sep 2026 09:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.229772
• Title: HappyWorld-Bench
• Title（参考訳）: HappyWorld-Bench
• Abstract要約: HappyWorld-Benchは、エージェントがエージェントと対話する際に生成された世界が信頼できるかどうかを評価するベンチマークである。 HappyWorld-Benchは1,138の動画プロンプト、300の空間シーン、254のテストケースで構成されている。 この統合された枠組みの下で,14の映像世界モデル,9つの空間システム,8つの具体的候補を評価した。
• 参考スコア（独自算出の注目度）: 81.97217706051495
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and responsiveness under exploration, interaction, and modification. We introduce HappyWorld-Bench, a comprehensive benchmark that evaluates whether generated worlds remain reliable as agents interact with them. Our design is built on a hierarchical capability framework of six world capabilities (W1-W6), from generative construction to unified world modeling, instantiated across three independent evaluation tracks: video world models, spatial world models, and embodied world models. HappyWorld-Bench comprises 1,138 video prompts, 300 spatial scenes, and 254 embodied test cases. Across all three tracks, we build and operate HappyWorld-Arena to organize human A/B comparisons and derive model-level Elo ratings, which complement newly designed automated metrics that capture behavioral correctness. We evaluate 14 video world models, 9 spatial systems, and 8 embodied candidates under this unified framework. Results reveal remaining reliability gaps across all three tracks: video models exhibit reduced consistency during extended rollouts and revisits, spatial models achieve at best 70.14% placement accuracy and 73.33% edit execution, and embodied models struggle to preserve state across multi-step actions and respond precisely to altered action conditions and physical rules. These findings highlight the need to evaluate world models not only by visual quality, but also by state consistency and the correctness of their responses to actions and interventions.
• Abstract（参考訳）: 世界のモデルを評価するには、それらが生み出す世界の質と、探索、相互作用、修正の下での一貫性と応答性の両方を評価する必要がある。 HappyWorld-Benchは、エージェントがエージェントと対話する際に生成された世界が信頼できるかどうかを評価する包括的なベンチマークである。 我々の設計は、6つの世界機能(W1-W6)の階層的機能フレームワーク上に構築されており、生成的構造から統一的世界モデリングまで、ビデオワールドモデル、空間ワールドモデル、そして埋め込み世界モデルという3つの独立した評価トラックにまたがってインスタンス化されている。 HappyWorld-Benchは1,138の動画プロンプト、300の空間シーン、254のテストケースで構成されている。 これら3つのトラック全体で、HappyWorld-Arenaを構築して、人間のA/B比較を整理し、モデルレベルのElo評価を導出します。 この統合された枠組みの下で,14の映像世界モデル,9つの空間システム,8つの具体的候補を評価した。 ビデオモデルはロールアウトとリビジョンの間に一貫性を低下させ、空間モデルは最大で70.14%の配置精度と73.33%の編集実行を達成する。 これらの知見は、視覚的品質だけでなく、状態の整合性や行動や介入に対する反応の正しさによって、世界モデルを評価する必要性を強調している。

関連論文リスト

• WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform [130.8118909583659]
  本稿では,世界モデル評価のための拡張ベンチマークであるWorldArena 2.0を紹介する。 WorldArena 2.0は、モダリティ、機能、プラットフォームという3つの次元で、具現化された世界モデルの評価を体系的に拡張する。 WorldArena 2.0は、標準化されたプロトコルの下で、知覚品質、インタラクティブなユーティリティ、クロスプラットフォームのパフォーマンスを包括的に評価する。
  論文  参考訳（メタデータ） (2026-05-18T06:18:21Z)
• iWorld-Bench: A Benchmark for Interactive World Models with a Unified Action Generation Framework [27.208236690012914]
  iWorld-Benchは、インタラクション関連の能力に関するワールドモデルのトレーニングとテストのためのベンチマークである。 330kのビデオクリップによる多様なデータセットを構築し、さまざまな視点、天気、シーンをカバーする2.1kの高品質なサンプルを選択した。
  論文  参考訳（メタデータ） (2026-05-05T16:30:03Z)
• WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models [114.95269118652163]
  We introduced WorldArena, an unified benchmark designed for embodied world model across both perceptual and functional dimensions。 WorldArenaは、6つのサブ次元にまたがって16のメトリクスで測定されたビデオ知覚品質、データエンジンとして世界モデルを評価する実施されたタスク機能、ポリシー評価ツール、主観的な人間の評価と統合されたアクションプランナーの3つの次元でモデルを評価する。 14の代表的なモデルに対する広範囲な実験を通して、視覚的品質が必ずしも強い具体的タスク能力に変換されるとは限らないことを示す、重要な知覚-機能的ギャップを明らかにする。
  論文  参考訳（メタデータ） (2026-02-09T18:09:20Z)
• WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World [100.68103378427567]
  エージェントは現実的な4D駆動環境を合成し、説得力があるように見えるが、物理的または行動的に失敗することが多い。 モデルがどのように構築され、理解され、その生成された世界の中でどのように振る舞うかを評価するフルスペクトルベンチマークであるWorldLensを紹介します。 さらに、数値的なスコアとテキストの合理性を備えた人間の注釈付きビデオの大規模データセット WorldLens-26K を構築し、WorldLens-Agent を開発した。
  論文  参考訳（メタデータ） (2025-12-11T18:59:58Z)
• WorldModelBench: Judging Video Generation Models As World Models [57.776769550453594]
  ビデオ生成モデルは急速に進歩し、ロボット工学や自動運転といった意思決定アプリケーションをサポートするビデオワールドモデルとしての地位を確立している。 現在のベンチマークでは、これらの主張を厳格に評価することができず、一般的なビデオ品質にのみ焦点が当てられている。 アプリケーション駆動ドメインにおけるビデオ生成モデルのワールドモデリング能力を評価するためのベンチマークであるWorldModelBenchを提案する。
  論文  参考訳（メタデータ） (2025-02-28T03:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。