論文の概要: WorldReasoner: Evaluating Whether Language Model Agents Forecast Events with Valid Reasoning

• arxiv url: http://arxiv.org/abs/2606.11816v1
• Date: Wed, 10 Jun 2026 08:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.371897
• Title: WorldReasoner: Evaluating Whether Language Model Agents Forecast Events with Valid Reasoning
• Title（参考訳）: WorldReasoner: 妥当性推論によるイベント予測言語モデルエージェントの評価
• Authors: Yizhou Chi, Eric Chamoun, Zifeng Ding, Andreas Vlachos,
• Abstract要約: WorldReasonerは、時間的に有効なイベント予測のための評価フレームワークである。 各タスクは、エージェントに解決された予測質問、シミュレーションされた予測日、およびその日までに利用可能な証拠へのアクセスを与える。 解決後、このフレームワークは提出された確率、引用された証拠、オプションの因果イベントグラフをスコアする。
• 参考スコア（独自算出の注目度）: 13.604505459715144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting real-world events requires language-model agents to reason under uncertainty from incomplete, time-bounded information. Yet evaluating whether agents genuinely forecast requires more than final-answer accuracy: a model may be correct by recalling memorized training facts, citing fabricated evidence, or producing an unsupported causal story. We present WorldReasoner, an evaluation framework for temporally valid event forecasting. Each task gives an agent a resolved forecasting question, a simulated forecast date, and access only to evidence available before that date; after resolution, the framework scores the submitted probability, cited evidence, and optional causal event graph. WorldReasoner reports three complementary axes: outcome quality against resolved answers, evidence quality over cited sources, and reasoning quality against post-resolution hindsight graphs. The benchmark is built by an agentic construction pipeline that generates forecasting questions, collects time-stamped evidence, and builds hindsight reference graphs at scale, yielding 345 resolved tasks derived from 14,141 articles with graphs covering 8,087 extracted events. Across six controlled agent settings, temporally valid retrieval is the strongest driver of outcome accuracy; causal graph construction improves key-event recovery; and correct graph-enabled forecasts are more strongly grounded in key events and relevant sources, yet agents still struggle to convert grounded evidence into calibrated probabilities.
• Abstract（参考訳）: 実世界の事象を予測するには、言語モデルエージェントが不完全で時間に縛られた情報から不確かさを推論する必要がある。 モデルは、記憶されたトレーニング事実をリコールしたり、偽の証拠を引用したり、サポート対象の因果関係の物語を作成したりすることで正しいものとなるかもしれない。 本稿では、時間的に有効なイベント予測のための評価フレームワークWorldReasonerを提案する。 各タスクは、エージェントに解決された予測質問、シミュレーションされた予測日、およびその日までに利用可能な証拠へのアクセスを与える。 WorldReasonerは3つの相補的な軸を報告している。 ベンチマークはエージェント構成パイプラインによって構築され、予測された質問を生成し、タイムスタンプされた証拠を収集し、大規模に後向きの参照グラフを構築し、抜粋された8,087件のイベントをカバーするグラフを持つ14,141件の項目から345件の解決されたタスクを生成する。 6つの制御されたエージェント設定の中で、時間的に有効な検索が結果の正確さの最大の要因であり、因果グラフ構築はキーイベントの回復を改善し、正しいグラフ可能な予測は重要なイベントや関連するソースに強く根ざしているが、それでもエージェントは根拠となる証拠を校正された確率に変換するのに苦労している。

関連論文リスト

• Future-as-Label: Scalable Supervision from Real-World Outcomes [0.0]
  時が自由な監督を生み出す: 現実の出来事に関する予測は、検証可能な結果に解決する。 我々は、実世界の予測に時間をかけて検証可能な報酬で強化学習を拡張した。 我々は、因果的にマスキングされた情報から確率予測を行うために言語モデルを訓練する。
  論文  参考訳（メタデータ） (2026-01-09T22:15:12Z)
• Event-CausNet: Unlocking Causal Knowledge from Text with Large Language Models for Reliable Spatio-Temporal Forecasting [14.895432181247044]
  本研究では,非構造化イベントレポートの定量化にLarge Language Modelを使用するフレームワークであるEvent-CausNetを提案する。 実世界のデータセットの実験では、Event-CausNetは堅牢なパフォーマンスを実現し、予測エラー(MAE)を最大35.87%削減している。
  論文  参考訳（メタデータ） (2025-11-16T20:45:23Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Uncertainty Quantification of Surrogate Models using Conformal Prediction [7.445864392018774]
  我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。 本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
  論文  参考訳（メタデータ） (2024-08-19T10:46:19Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。