論文の概要: Benchmarking Forecasting Agents on Yesterday's Tomorrows
- arxiv url: http://arxiv.org/abs/2610.40940v1
- Date: Thu, 29 Oct 2026 20:18:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.486919
- Title: Benchmarking Forecasting Agents on Yesterday's Tomorrows
- Title（参考訳）: 昨日の明日の予測エージェントのベンチマーク
- Abstract要約: FABenchは、Forecasting Agents用のスケーラブルなバックテスト環境である。
自動パイプラインは、イベントを検出し、質問を生成し、過去の予測日の結果を解決する。
研究の痕跡は、エージェントの体重と証拠の適用方法の繰り返しの失敗を明らかにしている。
- 参考スコア（独自算出の注目度）: 7.204266036736146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital agents can now gather and organize information, reason over it, and use tools to complete complex tasks. Forecasting puts all of these abilities to the test: it requires integrating incomplete evidence, inferring causal drivers, and committing to calibrated probabilistic judgments. Existing benchmarks are poorly suited to measuring and improving this ability. Live benchmarks provide feedback only after events resolve, so every evaluation cycle waits on the calendar; fixed-corpus evaluations return results immediately but confine research to pre-collected documents. We introduce FABench, a scalable backtesting environment for Forecasting Agents. An automated pipeline discovers events, generates questions, and resolves outcomes for any past forecast date, so the benchmark can be renewed to stay ahead of model training cutoffs; its first release poses 287 questions across nine domains. Agents research each question freely in an archive environment that combines an offline archive with live web search screened to prevent temporal leakage. Evaluating agents built on eight recent models, we find that retrieval improves the Brier score of all eight in every retrieval setting and lifts the leading agents to the market consensus on the 54 questions linked to Polymarket, with the best three scoring slightly above it. Research traces reveal recurring failures in how agents weigh and apply evidence, leaving ample room for improvement. We release our code, data, and archive environment as a foundation for community research on forecasting agents.
- Abstract（参考訳）: デジタルエージェントは、情報を収集して整理し、それを推論し、複雑なタスクを完了するためのツールを使用することができる。
予測はこれらすべての能力をテストに当てはめ、不完全な証拠の統合、因果的ドライバの推測、確率的判断の校正にコミットする必要がある。
既存のベンチマークは、この能力の測定と改善には適していない。
ライブベンチマークは、イベントが解決した後のみフィードバックを提供するので、すべての評価サイクルはカレンダーで待機する。
FABenchは、予測エージェントのためのスケーラブルなバックテスト環境である。
自動パイプラインは、イベントを検出し、質問を生成し、過去の予測日に結果を解決するため、ベンチマークを更新してモデルトレーニングのカットオフに先んじることができる。
エージェントは、オフラインアーカイブとライブウェブ検索を組み合わせたアーカイブ環境で各質問を自由に調査し、時間的漏洩を防止する。
最近の8つのモデルに基づいて構築されたエージェントを評価すると、検索は検索設定ごとに全8のブライアスコアを改善し、Polymarketに関連する54の質問に対して主要なエージェントを市場コンセンサスに引き上げる。
研究の痕跡は、エージェントの量や証拠の適用方法に繰り返し失敗し、改善の余地が十分にあることを示している。
我々は、予測エージェントに関するコミュニティ研究の基盤として、コード、データ、アーカイブ環境を公開します。
関連論文リスト
- AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents [56.10249598693586]
AutoSciBenchは、各タスクを、科学領域、データモダリティ、要求推論アプローチを指定する高レベルな概念として表現するフレームワークである。
エージェントはそれぞれのタスクを解決し、解決者トラジェクトリを生成し、AutoSciBenchがレシピやコンセプトを改訂するために使用している判断フィードバックに対応する。
計算生物学,材料科学,臨床画像におけるAutoSciBenchの評価を行った。
論文 参考訳（メタデータ） (2026-10-04T11:40:11Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks [6.001213285107465]
AutoResearchEvalは、7つの科学領域にまたがるフロンティア科学に根ざした100のタスクを特徴としている。
8つのハーネスモデルの組み合わせを評価すると、800個のオート検索剤の軌道が得られる。
我々は,人間のキャリブレーションしたエージェント・アズ・ア・ジャッジ・パイプラインを利用して,完全な軌道や中間成果物を検査する。
論文 参考訳（メタデータ） (2026-08-14T21:39:38Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - WorldReasoner: Evaluating Whether Language Model Agents Forecast Events with Valid Reasoning [13.604505459715144]
WorldReasonerは、時間的に有効なイベント予測のための評価フレームワークである。
各タスクは、エージェントに解決された予測質問、シミュレーションされた予測日、およびその日までに利用可能な証拠へのアクセスを与える。
解決後、このフレームワークは提出された確率、引用された証拠、オプションの因果イベントグラフをスコアする。
論文 参考訳（メタデータ） (2026-06-10T08:50:29Z) - LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know? [32.434901767447165]
LLMベースの検索エージェントは、外部の証拠よりも本質的な知識に依存している。
LiveBrowseCompは、固有のカバレッジ以上のエージェントを評価するために設計されたベンチマークである。
評価されたすべてのエージェントは、クローズドブックの精度を2%以下に抑え、検索強化されたスコアは、BrowseCompと比較して25～40ポイント減少し、以前のモデルランキングは、もはやパフォーマンスを確実に予測することができない。
論文 参考訳（メタデータ） (2026-05-27T16:39:57Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。
本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文 参考訳（メタデータ） (2026-03-04T07:23:54Z) - Bench to the Future: A Pastcasting Benchmark for Forecasting Agents [0.14980193397844666]
Bench To the Futureは、数百の高品質な質問がすでにその解決が知られている"pastcasting"ベンチマークである。
その結果,我々の過去の放送環境は,未解決の質問に対してインターネットを用いた予測に基づく結果に匹敵する結果が得られることが示唆された。
これは生きたベンチマークであり、トレーニングデータのカットオフ日数の増加を考慮し、新たな質問を継続的に追加するつもりです。
論文 参考訳（メタデータ） (2025-06-11T16:18:40Z) - Domain-matched Pre-training Tasks for Dense Retrieval [68.07140087626637]
モデルサイズがますます大きくなる大規模データセットでの事前トレーニングは、ほぼすべてのNLPタスクのパフォーマンス向上のための実証済みのレシピである。
適切な事前トレーニング設定で、この障壁を克服できることが示されています。
1)最近リリースされた6500万の合成された質問セットと、既存のReddit会話のデータセットから2億のポストコメンデーションペアをトレーニングすることで、これを実証する。
論文 参考訳（メタデータ） (2021-07-28T19:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。