論文の概要: GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations

• arxiv url: http://arxiv.org/abs/2610.22708v1
• Date: Thu, 15 Oct 2026 22:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.688773
• Title: GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
• Title（参考訳）: GlobeBench: スケーラブルな環境シミュレーションのためのテキストベースのワールドモデル機能の評価
• Abstract要約: GlobeBenchは複雑なRL環境状態遷移をシミュレートするための新しいベンチマークである。 行動が環境の大部分に影響を与えると,モデル精度が低下することがわかった。
• 参考スコア（独自算出の注目度）: 0.6488213253152644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-based world models have recently shown potential to simulate complex RL environment state transitions for a diverse set of use cases. However, no standardized benchmark exists to compare, study and improve these models. Through this paper, we attempt to solve this problem by building GlobeBench, a novel benchmark with 1,632 tasks across five separate domains and nineteen simulation skills. The tasks check whether models can predict the environment's response to a specific action given the full agent trajectory by understanding earlier state changes, following environment rules, and predicting the effects of actions on both related and unrelated objects. We compare the predicted environment response with an execution-derived reference, using a hybrid architecture with both deterministic gates and a semantic judge. Among 20 general-purpose LLMs and specialized text world models, GPT-6 Astra achieves the highest task success rate at 49.57%. We find that model accuracy decreases as actions affect a larger portion of the environment. Specifically, when the agent's changes must propagate to dependent objects, task success drops to an average of 5.1% across all 20 models. Although model strengths differ across tasks, 631 tasks remain unsolved by any model, suggesting a significant gap in general LLM capabilities as a world model.
• Abstract（参考訳）: テキストベースの世界モデルは、様々なユースケースに対して複雑なRL環境状態遷移をシミュレートする可能性を示している。 しかしながら、これらのモデルを比較し、研究し、改善するための標準化されたベンチマークは存在しない。 本稿では、5つのドメインに1,632のタスクと19のシミュレーションスキルを持つ新しいベンチマークであるGlobeBenchを構築してこの問題を解決する。 タスクは、以前の状態変化を理解し、環境ルールに従い、関連するオブジェクトと無関係なオブジェクトの両方に対するアクションの効果を予測することによって、完全なエージェントの軌道が与えられた特定のアクションに対する環境の応答を予測できるかどうかをチェックする。 予測された環境応答と実行に基づく参照を比較し,決定論的ゲートと意味判断器を併用したハイブリッドアーキテクチャを提案する。 20の汎用LCMと特殊なテキストワールドモデルの中で、GPT-6 Astraは49.57%のタスク成功率を達成している。 行動が環境の大部分に影響を与えると,モデル精度が低下することがわかった。 具体的には、エージェントの変更が依存するオブジェクトに伝播する必要がある場合、タスクの成功率は20モデル全体で平均5.1%に低下する。 モデル強度はタスクによって異なるが、631のタスクはどのモデルでも未解決のままであり、世界モデルとしてのLLMの能力に大きなギャップがあることを示唆している。

関連論文リスト

• LAW: Unifying Language, Action, and World Modeling for Agentic Physical Intelligence [52.14897623664594]
  本稿では,言語推論,アクション生成,世界モデリングを統合した閉ループVLM--WAMフレームワークであるLAWを紹介する。 LAWは50のRoboTwinタスクで平均94.21%の成功を達成した。
  論文  参考訳（メタデータ） (2026-10-16T11:39:21Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios [25.68270661401607]
  OmniaBenchは、明示的な状態空間を持つ様々なシナリオにまたがる汎用エージェントを評価するベンチマークである。 実行環境を構築し,4つの相補経路を通した単一ターンタスクと複数ターンタスクを合成する。 ベンチは現在のフロンティアモデルに重大な課題を示しており、クロード・ソネット-5とGPT-5.6-ソルもそれぞれ58.54点と57.14点の総合パス@1点を達成している。
  論文  参考訳（メタデータ） (2026-07-16T13:38:07Z)
• SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
  SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。 多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。 信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
  論文  参考訳（メタデータ） (2026-06-08T15:51:51Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics [39.854659234873644]
  タスク適応型視覚圧縮のためのモジュラー変分オートエンコーダを組み合わせたスケーラブルなアーキテクチャであるMixture-of-World Models (MoW)を紹介する。 Atari 100kベンチマークでは、26のAtariゲームでトレーニングされた1つのMoWエージェントが平均110.4%の人間正規化スコアを達成する。 MoWは3万の環境ステップで平均74.5%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-02-01T15:00:30Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Zero-Shot Commonsense Validation and Reasoning with Large Language Models: An Evaluation on SemEval-2020 Task 4 Dataset [0.16385815610837165]
  本研究では,SemEval-2020 Task 4データセット上でのLarge Language Models(LLM)の性能を評価する。 モデルは、タスクA(Commonsense Validation)とタスクB(Commonsense Explanation)の2つのタスクでテストされる。 結果、LLaMA3-70BはタスクAで98.40%の最高精度を達成し、タスクBで93.40%の旧モデルより遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-19T12:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。