論文の概要: CivWorldBench: Evaluating Language World Models in Structured Multi-Agent Sandbox Worlds

• arxiv url: http://arxiv.org/abs/2610.16450v1
• Date: Mon, 12 Oct 2026 09:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 23:10:12.16834
• Title: CivWorldBench: Evaluating Language World Models in Structured Multi-Agent Sandbox Worlds
• Title（参考訳）: CivWorldBench: 構造化されたマルチエージェントサンドボックスワールドにおける言語ワールドモデルの評価
• Abstract要約: マルチエージェント戦略ゲームエンジン上に構築されたベンチマークであるCivWorldBenchを紹介する。 475の世界の1,900の意思決定ポイントは、関連予測、信念推論、介入予測という3つのタスクレベルをサポートする。 複合ベンチマークスコアは、一致したモデルパネル上の現実の予測リーダーボードと相関する。
• 参考スコア（独自算出の注目度）: 54.553784788457484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing use of language models for forecasting motivates a broader evaluation of their world-model capabilities. Such evaluation must go beyond predictive accuracy to assess hidden-state inference and intervention prediction. Real-world forecasting benchmarks offer limited access to hidden-state ground truth and controlled experiments. We introduce CivWorldBench, a benchmark built on a multi-agent strategy game engine with recorded internal states, controlled observations, and paired intervention rollouts. Its 1,900 decision points from 475 worlds support three task levels: association forecasting, belief inference, and intervention prediction. Reference predictors support attributable evaluation of capability gaps, with an expert harness and empirical ceiling estimates contextualizing scores. Stored trajectories make intermediate predictions verifiable, while agent-play experiments test whether world-model capabilities support decision-making. The main panel comprises eleven frontier language models. Composite benchmark scores correlate with real-world forecasting leaderboards on matched model panels, more closely than with a general-capability index, supporting its use as a proxy for real-world forecasting capability. Strong association forecasts do not consistently extend to belief inference or intervention prediction, and effect magnitudes remain poorly calibrated despite informative direction predictions. Process verification reveals errors missed by final-answer evaluation, and structured reasoning improves intervention prediction for the strongest model in the process study. Agent-play experiments identify useful assisted plans and motivate evaluating decision-relevant capabilities beyond association forecasting. These findings identify hidden-state inference, intermediate-state prediction, and effect calibration as priorities for world-model training.
• Abstract（参考訳）: 予測のための言語モデルの利用の増加は、彼らの世界モデル能力のより広範な評価を動機付けている。 このような評価は、隠れ状態の推測と介入予測を評価するための予測精度を超えなければならない。 実世界の予測ベンチマークは、隠れた状態の真実と制御された実験に限られたアクセスを提供する。 マルチエージェント戦略ゲームエンジン上に構築されたベンチマークであるCivWorldBenchを紹介する。 475の世界の1,900の意思決定ポイントは、関連予測、信念推論、介入予測という3つのタスクレベルをサポートする。 基準予測器は、専門家のハーネスと経験的天井推定スコアを用いて、能力ギャップの帰属的な評価をサポートする。 ストアドトラジェクトリは中間予測を検証し、エージェントプレイ実験はワールドモデル機能が意思決定をサポートするかどうかをテストする。 メインパネルは11のフロンティア言語モデルで構成されている。 複合ベンチマークスコアは、マッチしたモデルパネル上の現実の予測リーダーボードと相関し、一般的な能力指標よりも密接に、現実の予測能力のプロキシとしての使用をサポートする。 強い関連予測は、信念の推測や介入予測に一貫して及ばず、効果の規模は、情報的な方向予測にもかかわらず、未調整のままである。 プロセス検証は、最終回答による誤りを明らかにし、構造化推論は、プロセス研究における最強モデルの介入予測を改善する。 エージェントプレイ実験は有用な計画を特定し、関連予測以上の意思決定関連能力を評価する動機づけとなる。 これらの結果から,世界モデルトレーニングの優先事項として,隠れ状態推定,中間状態予測,効果校正が同定された。

関連論文リスト

• Self-Evolving World Models for LLM Agent Planning [72.99782619992361]
  我々はWorldEvolverを紹介した。WorldEvolverは、ダウンストリームエージェントとすべてのモデルパラメータを凍結したまま、デプロイメント時間コンテキストを更新する自己進化型ワールドモデルフレームワークである。 WorldEvolverは3つのバックボーンで最高の予測精度を達成し、下流エージェントの成功率で他のワールドモデルベースラインを導く。
  論文  参考訳（メタデータ） (2026-06-29T17:58:43Z)
• Feedback World Model Enables Precise Guidance of Diffusion Policy [36.965417653906535]
  本稿では,推定時刻における予測と観測のループを閉じる新たなパラダイムであるフィードバック・ワールド・モデルを提案する。 本手法は,分布シフト時の予測精度とポリシー性能を大幅に向上することを示す。 特に、世界モデルの予測誤差を最大76.4%削減し、アウト・オブ・ディストリビューション(OOD)の成功率を30%改善する。
  論文  参考訳（メタデータ） (2026-05-15T07:52:13Z)
• FOReCAst: The Future Outcome Reasoning and Confidence Assessment Benchmark [11.149409619312827]
  FOReCAstはモデルを予測し、その信頼性を評価するためのベンチマークである。 ブール問題、時間枠予測、量推定を含む様々な予測シナリオにまたがる。 実世界のアプリケーションに対して、予測精度と信頼性校正の両方を包括的に評価する。
  論文  参考訳（メタデータ） (2025-02-27T01:36:00Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• LoMEF: A Framework to Produce Local Explanations for Global Model Time Series Forecasts [2.3096751699592137]
  複数の時系列にまたがってトレーニングされたグローバル予測モデル(GFM)は、多くの予測競合や実世界のアプリケーションにおいて優れた結果を示している。 しかしながら、GFMは通常、特に特定の時系列に対する解釈可能性に欠ける。 本稿では,GFMからの予測を説明するために,局所モデルに依存しない新しい解法を提案する。
  論文  参考訳（メタデータ） (2021-11-13T00:17:52Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。