論文の概要: WorldReasoner: Evaluating Whether Language Model Agents Forecast Events with Valid Reasoning

• arxiv url: http://arxiv.org/abs/2606.11816v1
• Date: Wed, 10 Jun 2026 08:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.371897
• Title: WorldReasoner: Evaluating Whether Language Model Agents Forecast Events with Valid Reasoning
• Title（参考訳）: WorldReasoner: 妥当性推論によるイベント予測言語モデルエージェントの評価
• Abstract要約: WorldReasonerは、時間的に有効なイベント予測のための評価フレームワークである。 各タスクは、エージェントに解決された予測質問、シミュレーションされた予測日、およびその日までに利用可能な証拠へのアクセスを与える。 解決後、このフレームワークは提出された確率、引用された証拠、オプションの因果イベントグラフをスコアする。
• 参考スコア（独自算出の注目度）: 13.604505459715144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting real-world events requires language-model agents to reason under uncertainty from incomplete, time-bounded information. Yet evaluating whether agents genuinely forecast requires more than final-answer accuracy: a model may be correct by recalling memorized training facts, citing fabricated evidence, or producing an unsupported causal story. We present WorldReasoner, an evaluation framework for temporally valid event forecasting. Each task gives an agent a resolved forecasting question, a simulated forecast date, and access only to evidence available before that date; after resolution, the framework scores the submitted probability, cited evidence, and optional causal event graph. WorldReasoner reports three complementary axes: outcome quality against resolved answers, evidence quality over cited sources, and reasoning quality against post-resolution hindsight graphs. The benchmark is built by an agentic construction pipeline that generates forecasting questions, collects time-stamped evidence, and builds hindsight reference graphs at scale, yielding 345 resolved tasks derived from 14,141 articles with graphs covering 8,087 extracted events. Across six controlled agent settings, temporally valid retrieval is the strongest driver of outcome accuracy; causal graph construction improves key-event recovery; and correct graph-enabled forecasts are more strongly grounded in key events and relevant sources, yet agents still struggle to convert grounded evidence into calibrated probabilities.
• Abstract（参考訳）: 実世界の事象を予測するには、言語モデルエージェントが不完全で時間に縛られた情報から不確かさを推論する必要がある。 モデルは、記憶されたトレーニング事実をリコールしたり、偽の証拠を引用したり、サポート対象の因果関係の物語を作成したりすることで正しいものとなるかもしれない。 本稿では、時間的に有効なイベント予測のための評価フレームワークWorldReasonerを提案する。 各タスクは、エージェントに解決された予測質問、シミュレーションされた予測日、およびその日までに利用可能な証拠へのアクセスを与える。 WorldReasonerは3つの相補的な軸を報告している。 ベンチマークはエージェント構成パイプラインによって構築され、予測された質問を生成し、タイムスタンプされた証拠を収集し、大規模に後向きの参照グラフを構築し、抜粋された8,087件のイベントをカバーするグラフを持つ14,141件の項目から345件の解決されたタスクを生成する。 6つの制御されたエージェント設定の中で、時間的に有効な検索が結果の正確さの最大の要因であり、因果グラフ構築はキーイベントの回復を改善し、正しいグラフ可能な予測は重要なイベントや関連するソースに強く根ざしているが、それでもエージェントは根拠となる証拠を校正された確率に変換するのに苦労している。

関連論文リスト

• From Narrative to Auditable Forecasts: A Structured Scaffold for Agentic Forecasting [28.10023756949099]
  AuditForecastは構造化確率予測のためのエージェント的な足場である。 予測を適切な定量的ベースラインモデルで固定し、モデル誘導データ検索を使用してベース確率を導出し、モデルの範囲外で状況要因を更新する。 AuditForecastは、予測構築を明確にし、系統的なポストホック分析をサポートする監査可能な予測レポートを生成する。
  論文  参考訳（メタデータ） (2026-09-05T05:58:39Z)
• From Recoverability to Functional Use: Auditing Temporal Reports in Time-Series Forecasting [10.481986290704821]
  正確な予測は時間的使用を正さないことを示す。 レポート制御ルーティングは、予測精度において観測された損失を伴わずに、レポート制御アライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2026-08-11T03:30:36Z)
• FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting [8.891247829087936]
  FinAbstainは、不確実性を校正したマルチモーダル検索拡張生成のためのフレームワークである。 ポイント・イン・タイム・レトリバーは、予測タイムスタンプで公開された情報のみを認め、基本、ニュース、技術、リスク、検証エージェントにモダリティ固有の証拠を提供する。 コントローラは、不確実性が検証された閾値以下である場合にのみ、強気、弱気または中立的な結果を予測する。
  論文  参考訳（メタデータ） (2026-07-27T07:05:22Z)
• Estimation--Prediction Tradeoff in Causal Probabilistic Temporal Graphs [0.5076419064097734]
  時間的リンク予測は通常、目に見えないエッジでの予測性能によって評価されるが、確率論的時間グラフでは、この基準はモデル誤差を既約の不確実性で説明することができる。 本稿では,一過性のエッジを持つ時間グラフと,既知の地道因果構造を生成する確率論的因果構造を提案する。 提案したバイナリロジスティックパラメトリゼーションでは、クラメロ-ラオ境界を導出し、パラメータ推定誤差と既約予測損失とのトレードオフを検証する。 この結果から,モデルが因果メカニズムを学習したかどうかを反映せず,本質的なプロセスの不確実性から再現可能なモデル誤差を識別するベンチマークを動機付けている可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-26T16:13:48Z)
• VeriGraph: Towards Verifiable Data-Analytic Agents [71.17693022916896]
  LLMをベースとしたエージェントは、データ集約分析タスクにおいて強力な能力を示してきたが、その出力は滅多に検証されていない。 We propose VeriGraph, a traceable neuro-symbolic reasoning framework that agent can construct an explicit heterogeneous evidence directed acyclic graph。 以上の結果から,明示的なエビデンスグラフ構築がデータ分析エージェントの検証に期待できる道のりであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T11:50:56Z)
• Future-as-Label: Scalable Supervision from Real-World Outcomes [0.0]
  時が自由な監督を生み出す: 現実の出来事に関する予測は、検証可能な結果に解決する。 我々は、実世界の予測に時間をかけて検証可能な報酬で強化学習を拡張した。 我々は、因果的にマスキングされた情報から確率予測を行うために言語モデルを訓練する。
  論文  参考訳（メタデータ） (2026-01-09T22:15:12Z)
• Event-CausNet: Unlocking Causal Knowledge from Text with Large Language Models for Reliable Spatio-Temporal Forecasting [14.895432181247044]
  本研究では,非構造化イベントレポートの定量化にLarge Language Modelを使用するフレームワークであるEvent-CausNetを提案する。 実世界のデータセットの実験では、Event-CausNetは堅牢なパフォーマンスを実現し、予測エラー(MAE)を最大35.87%削減している。
  論文  参考訳（メタデータ） (2025-11-16T20:45:23Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Uncertainty Quantification of Surrogate Models using Conformal Prediction [7.445864392018774]
  我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。 本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
  論文  参考訳（メタデータ） (2024-08-19T10:46:19Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• CEP3: Community Event Prediction with Neural Point Process on Graph [59.434777403325604]
  グラフニューラルネットワークとマーク付き時間点プロセス(MTPP)を組み合わせた新しいモデルを提案する。 実験では,モデルの精度と訓練効率の両面から,モデルの優れた性能を実証した。
  論文  参考訳（メタデータ） (2022-05-21T15:30:25Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。