論文の概要: Evaluating Strategic Reasoning in Forecasting Agents

• arxiv url: http://arxiv.org/abs/2604.26106v1
• Date: Tue, 28 Apr 2026 20:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.166823
• Title: Evaluating Strategic Reasoning in Forecasting Agents
• Title（参考訳）: 予測エージェントにおける戦略推論の評価
• Abstract要約: 予測器 0.011 Brier は、どのフロンティアエージェントよりも正確です。 専門家の予測官は、フロンティアエージェントの戦略的理由付けの失敗が政治的・ビジネス的リーダーのインセンティブを評価するのに重要であると結論づけた。
• 参考スコア（独自算出の注目度）: 2.6913398550088483
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Forecasting benchmarks produce accuracy leaderboards but little insight into why some forecasters are more accurate than others. We introduce Bench to the Future 2 (BTF-2), 1,417 pastcasting questions with a frozen 15M-document research corpus in which agents reproducibly research and forecast offline, producing full reasoning traces. BTF-2 detects accuracy differences of 0.004 Brier score, and can distinguish differential agent strengths in research vs. judgment. We build a forecaster 0.011 Brier more accurate than any single frontier agent, and use it to evaluate agent strategic reasoning without hindsight bias. We find the better forecaster differs primarily in its pre-mortem analysis of its blind spots and consideration of black swans. Expert human forecasters found the dominant strategic reasoning failures of frontier agents are in assessing political and business leaders' incentives, judging their likelihood to follow through on stated plans, and modeling institutional processes.
• Abstract（参考訳）: 予測ベンチマークは、正確なリーダーボードを生成するが、予測者が他のものよりも正確である理由についてはほとんど見当たらない。 我々は,Bentch to the Future 2 (BTF-2), 1,417のパスキャスティング質問を凍結した15M文書研究コーパスで紹介する。 BTF-2は、0.004ブライアスコアの精度差を検出し、研究における差分剤強度を判定する。 予測器 0.011 Brier をどのフロンティアエージェントよりも高精度に構築し,エージェントの戦略的推論を後見バイアスなしで評価する。 より優れた予測器は、主に盲点の暗視前分析と黒白鳥の考慮において異なる。 専門家の人間予測官は、フロンティアエージェントの戦略的な理由づけの失敗は、政治やビジネスのリーダーのインセンティブを評価し、その計画に従う可能性を判断し、制度的なプロセスをモデル化することにあると結論付けた。

関連論文リスト

• Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments [2.198062126576484]
  本稿では,大言語モデル(LLM)による60理論誘導推論パターンの集合である説明品質マーカ(EQM)を紹介する。 マルチ年の予報トーナメントから55,000組以上の予報シーズンペアを事前登録した分析では、EQMは予報レベルと予報レベルの両方で精度を予測している。
  論文  参考訳（メタデータ） (2026-06-29T23:51:09Z)
• Forecasting Downstream Performance of LLMs With Proxy Metrics [37.61408486519996]
  本稿では,トークンレベルの統計値(エントロピー,トップk精度,エキスパートトークンランクなど)を集約することで,プロキシメトリクスを構築することを提案する。 3つの設定で、我々のプロキシは損失ベースのベースラインと計算ベースのベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-18T16:17:15Z)
• Quantifying the Risk-Return Tradeoff in Forecasting [0.0]
  平均予測精度は予測信頼性と同じではない。 私は、ベンチマークに対する予測損失差をリターンシリーズとして扱います。 次に、シャープ比、ソルティーノ比、オメガ比、ドローダウンベースの指標など、金融のリスク調整されたパフォーマンス指標を用いて、これらのリターンを評価する。
  論文  参考訳（メタデータ） (2026-05-10T19:21:12Z)
• Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents [0.0]
  私たちはForesight Arenaを紹介します。これは、現実世界の予測市場でAI予測エージェントを評価するための、最初の無許可のオンチェーンベンチマークです。 パフォーマンスはBrier ScoreとAlpha Scoreによって測定される。 80%のパワーで$* = 0.02$の真のエッジを検出するには、約350の解決されたバイナリ予測が必要である。
  論文  参考訳（メタデータ） (2026-05-01T05:33:10Z)
• Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
  限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか? エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。 Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
  論文  参考訳（メタデータ） (2025-10-23T17:57:28Z)
• Accuracy Law for the Future of Deep Time Series Forecasting [65.46625911002202]
  時系列予測は、部分的に観測可能で不確実な性質のため、本質的にゼロでない誤差の低い境界に直面する。 本稿では、ディープ時系列予測の性能上限をどうやって推定するかという根本的な問題に焦点をあてる。 新たに訓練された2,800以上の深層予測器の厳密な統計的テストに基づいて、深部モデルの最小予測誤差とウィンドウワイズ級数パターンの複雑さとの間に有意な指数関数的関係を見出した。
  論文  参考訳（メタデータ） (2025-10-03T05:18:47Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Interpreting Predictive Probabilities: Model Confidence or Human Label Variation? [27.226997687210044]
  私たちは、非常に異なる評価プロトコルを駆動する2つの主要な視点を特定します。 我々は,それらのメリットと限界について論じ,両者が信頼に値する,公平なNLPシステムにとって重要であるという立場を取る。 我々はツールを推奨し、人間のラベルに関する不確実性や不確実性について不整合表現を持つモデルへのエキサイティングな方向を示す。
  論文  参考訳（メタデータ） (2024-02-25T15:00:13Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty [54.88405167739227]
  本稿では,エージェントのクラス確率を明示的に組み込んだヘテロジニアスエージェント軌道予測手法であるHAICUを提案する。 さらに,新たな挑戦的な実世界の自動運転データセットであるpupも紹介する。 軌道予測にクラス確率を組み込むことで,不確実性に直面した性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-04-26T10:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。