論文の概要: FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches
- arxiv url: http://arxiv.org/abs/2607.17765v1
- Date: Mon, 20 Jul 2026 10:00:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.580831
- Title: FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches
- Title（参考訳）: LLM予測エージェントの汚染フリーベンチマークとしてのFIFAワールドカップ2026:4モデル,ブックメーカ,104マッチ
- Abstract要約: 大規模言語モデル(LLM)を評価するためのベンチマークとデータセットであるWC2026-Agentsを紹介する。
2026 FIFAワールドカップの104試合ごとに、4つのフロンティアモデルが同一のサーチ・アクト・リフレクト・ループを実行した。
4人のエージェントを、同じ情報環境から引き出された5番目の競合相手と組み合わせます。
- 参考スコア（独自算出の注目度）: 2.8722431362974077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce WC2026-Agents, a benchmark and dataset for evaluating large language models (LLMs) as autonomous forecasting agents on real, future events. For every one of the 104 matches of the 2026 FIFA World Cup, four frontier models -- Claude Opus 4.8, ChatGPT (GPT-5.5, high reasoning), Gemini 3.1 Pro, and Grok (Expert Mode) -- ran an identical search-act-reflect loop: gather evidence with a web tool, commit to a 1X2 (team-A win / draw / team-B win) distribution and a virtual 100-USD bet, and, after the match, reflect given only the final score. Because every match kicked off after the models' training cutoffs, the benchmark is contamination-free by construction. Crucially, we pair the four agents with a fifth competitor drawn from the same information environment -- the pre-match betting market -- collected as per-match 1X2 odds, giving an economically grounded baseline and letting us score not just what an agent predicts but what it does with money. The release contains 416 forecasts and 414 reflections with verbatim reasoning, ground truth (including penalty shootouts), odds, and a reproducible evaluation suite. A reference evaluation surfaces findings that raw accuracy hides: the four agents issue an identical top pick in 92% of matches and none beats the market's Brier score; indeed, a naive flat stake on the market favorite out-earns all four agents. Yet the agents diverge sharply as decision-makers: betting return-on-investment ranges from -18% to +10%, fading the market is unprofitable for all four, the share of forecasts that cite the market ranges from 12% to 100%, and self-reported error rates on wrong picks range from 36% to 86%. The benchmark thus measures calibration, decision quality, and self-knowledge -- axes on which frontier models differ even when their predictions do not. Data and code: https://github.com/graphuofm/FIFA2026LLM
- Abstract（参考訳）: 我々は,大規模言語モデル(LLM)を評価するためのベンチマークとデータセットであるWC2026-Agentsを,将来的な事象に対する自律予測エージェントとして紹介する。
2026 FIFAワールドカップの104試合中、クロード・オプス4.8、チャットGPT(GPT-5.5、高い推論)、ジェミニ3.1プロ、グロク(エクスプロット・モード)の4つのフロンティア・モデルが同じサーチ・アクト・リフレクト・ループを実行した。
全ての試合がトレーニングの中止後に開始されたため、ベンチマークは建設によって汚染を受けない。
重要なことに、4人のエージェントと、同じ情報環境から引き出された5番目の競合 - マッチ前の賭け市場 - が、マッチ当たり1X2の確率として収集された – をペアにすることで、経済的な基盤となるベースラインを与え、エージェントが何を予測しているかだけでなく、お金で何をするかをスコアできるのです。
リリースには、416の予測と414のリフレクション、口頭推論、(ペナルティシュートを含む)真実、オッズ、再現可能な評価スイートが含まれている。
4人のエージェントが試合の92%で同じトップピックを発行し、市場のブリアスコアを上回りません。
しかし、エージェントは意思決定者として急速に多様化し、リターン・オン・投資は18%から+10%まで、市場は4つすべてで不利益となり、市場は12%から100%まで、不正な選別における自己申告エラー率は36%から86%までである。
このベンチマークは、キャリブレーション、意思決定品質、自己知識を計測します。
データとコード:https://github.com/graphuofm/FIFA2026LLM
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents [16.48804532565337]
FM-Bench (Football Management Benchmark) は有界タスクを計測する。
エージェントは26のツールと約340から400の意思決定停止で20年間サッカークラブを運営している。
全てのライバル、取引業者、契約交渉、施設と若者への投資、ラインナップの設定、そしてそれを解雇できる委員会への回答と同じ予算でチームを起草する。
論文 参考訳（メタデータ） (2026-08-19T01:33:36Z) - When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。
判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。
大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文 参考訳（メタデータ） (2026-07-09T02:46:51Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents [0.0]
私たちはForesight Arenaを紹介します。これは、現実世界の予測市場でAI予測エージェントを評価するための、最初の無許可のオンチェーンベンチマークです。
パフォーマンスはBrier ScoreとAlpha Scoreによって測定される。
80%のパワーで$* = 0.02$の真のエッジを検出するには、約350の解決されたバイナリ予測が必要である。
論文 参考訳（メタデータ） (2026-05-01T05:33:10Z) - Prediction Arena: Benchmarking AI Models on Real-World Prediction Markets [0.0]
Prediction Arenaは、AIモデルの予測精度と意思決定を評価するためのベンチマークである。
ライブトレーディングにおける6つのフロンティアモデル(Cohort 1, full period)と、ペーパートレーディングにおける4つの次世代モデル(Cohort 2, 3-day pre)の2つのコホートを追跡。
我々の分析では、初期予測精度と正しい予測を活用できる能力が主な要因である、明確な性能階層を同定する。
論文 参考訳（メタデータ） (2026-03-28T06:13:17Z) - Going All-In on LLM Accuracy: Fake Prediction Markets, Real Confidence Signals [0.0]
検証可能な回答で100の数学と論理の質問を生成しました。
そして、ベースラインが正しく答えられるならば、各質問ベースラインペアに対して3つの予測モデルが予測された。
1条件当たりの予測は5,400回を超え、インセンティブランはわずかに高い精度を示した。
4万枚以上の賭けは99%、小賭け(1000枚)は74%の精度しか示さなかった。
論文 参考訳（メタデータ） (2025-12-01T19:04:25Z) - Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか?
エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。
Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
論文 参考訳（メタデータ） (2025-10-23T17:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。