論文の概要: LLM-SoccerArena: Benchmarking LLMs on Real-World Predictions in Sports

• arxiv url: http://arxiv.org/abs/2607.24573v1
• Date: Mon, 27 Jul 2026 15:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.483289
• Title: LLM-SoccerArena: Benchmarking LLMs on Real-World Predictions in Sports
• Title（参考訳）: LLM-SoccerArena:スポーツにおける実世界の予測に関するLLMのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、不確実な将来の出来事に関する決定をますます支持しているが、実際の結果を予測する能力の評価は難しいままである。 LLM-SoccerArenaは,LLMが実際のスポーツイベントを予測し,その結果が分かる前に評価するライブベンチマークである。
• 参考スコア（独自算出の注目度）: 29.80986348128258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly support decisions about uncertain future events, yet evaluating their ability to forecast real-world outcomes remains difficult. In particular, existing benchmarks are typically static and retrospective, and therefore cannot test how information is synthesized by LLMs to predict future events under uncertainty. We introduce LLM-SoccerArena (https://llm-soccerarena.com), a prospective live benchmark that evaluates how well LLMs forecast real-world sports events before the outcomes are known. LLM-SoccerArena provides (1) a prospective live benchmark protocol, (2) a public open-source platform, and (3) a factorial benchmark design together with tournament-related questions (e.g., which team will win). LLM-SoccerArena automatically records timestamped, schema-validated forecasts of unresolved events, together with prompts, model versions, tool traces, and costs. The factorial design varies along four dimensions: (1) model version (e.g., GPT-5.5, Claude Opus 4.8); (2) information access; (3) prompting strategy, and (4) forecast horizon. We demonstrate LLM-SoccerArena through a large-scale evaluation of the 2026 FIFA World Cup, in which seven LLMs generated forecasts for all 104 matches and 15 tournament-related questions. We provide a detailed analysis of model performance across information access, prompting strategy, and forecast horizon. As a result, LLM-SoccerArena provides new evidence about the forecasting performance of state-of-the-art LLMs. For example, LLMs with web access outperform those without, but only by a small margin (i.e., a 0.023 improvement in Brier score). Overall, LLM-SoccerArena provides a flexible, open-source platform for prospective benchmarking of unresolved events. LLM-SoccerArena will be continuously updated, and can be directly applied to future national and international tournaments and league competitions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不確実な将来の出来事に関する決定をますます支持しているが、実際の結果を予測する能力の評価は難しいままである。 特に、既存のベンチマークは典型的には静的かつ振り返りであり、したがってLLMによってどのように情報が合成され、不確実な将来の事象を予測するかをテストすることはできない。 LLM-SoccerArena (https://llm-soccerarena.com) は,LLMが実際のスポーツイベントを予測して結果がわかる前にどの程度の精度で予測できるかを評価する,先進的なライブベンチマークである。 LLM-SoccerArenaは、(1)ライブベンチマークプロトコル、(2)オープンソースプラットフォーム、(3)トーナメント関連の質問(例えば、どのチームが勝つか)とともに、因子的ベンチマーク設計を提供する。 LLM-SoccerArenaは、プロンプト、モデルバージョン、ツールトレース、コストとともに、未解決イベントのタイムスタンプ、スキーマ検証された予測を自動的に記録する。 因子設計は、(1)モデルバージョン(例: GPT-5.5、Claude Opus 4.8)、(2)情報アクセス、(3)プロンプト戦略、(4)予測水平線である。 LLM-SoccerArenaは,FIFAワールドカップ2026の大規模評価を通じて,104試合中7試合,トーナメント関連15問の予測を作成した。 本稿では,情報アクセス,戦略の推進,予測地平線におけるモデル性能の詳細な解析を行う。 その結果、LLM-SoccerArenaは最先端のLLMの予測性能に関する新たな証拠を提供する。 例えば、ウェブアクセスを持つLLMは、それ以外のものよりも優れていますが、小さなマージン(ブリアスコアの0.023の改善)によってのみパフォーマンスが向上します。 LLM-SoccerArenaは、未解決イベントの予測ベンチマークのための柔軟なオープンソースプラットフォームを提供する。 LLM-SoccerArenaは継続的に更新され、将来の全国および国際大会やリーグ大会に直接適用される。

関連論文リスト

• Rethinking the Role of LLMs in Time Series Forecasting [15.951870420397682]
  大規模言語モデル (LLM) は時系列予測 (TSF) に導入され、数値信号以外の文脈知識が組み込まれている。 このような結論は,限られた評価設定に起因し,大規模に保たないことを示す。 以上の結果から,emphLLM4TSでは予測性能が向上し,ドメイン間の一般化が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2026-02-16T13:39:09Z)
• LLM-as-a-Prophet: Understanding Predictive Intelligence with Prophet Arena [25.304644327116975]
  大規模言語モデル(LLM)は、将来の事象を予測するために、インターネットスケールのデータに基づいて訓練されている。 本稿では,LLMの予測知能について系統的に検討する。 LLM-as-a-Prophetによる優れた予測知能の実現に向けた重要なボトルネックを明らかにする。
  論文  参考訳（メタデータ） (2025-10-20T15:20:05Z)
• Who is a Better Player: LLM against LLM [53.46608216197315]
  本稿では,大規模言語モデル (LLM) の総合的な性能を評価するための対戦型ベンチマークフレームワークを提案する。 広範にプレイされている5つのゲームをサポートし,20のLDMを駆使したプレーヤーを対象とする,特別な評価プラットフォームであるQi Townを紹介した。
  論文  参考訳（メタデータ） (2025-08-05T06:41:47Z)
• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Can Large Language Models Capture Video Game Engagement? [1.3873323883842132]
  我々は、ビデオの連続的な影響アノテーションを注釈化し、うまく予測する一般的な大規模言語モデルの能力を包括的に評価する。 我々は, LLMアーキテクチャ, モデルサイズ, 入力モダリティ, プロンプト戦略, エンゲージメント予測に対する接地真理処理法の影響について, 2400以上の実験を行った。
  論文  参考訳（メタデータ） (2025-02-05T17:14:47Z)
• Are LLMs Prescient? A Continuous Evaluation using Daily News as the Oracle [13.192628306219248]
  本研究では,大規模言語モデルの時間的一般化と予測能力を評価するための連続評価手法として,将来の事象予測を提案する。 私たちのベンチマークであるDaily Oracleは、毎日のニュースから質問と回答のペアを自動的に生成します。
  論文  参考訳（メタデータ） (2024-11-13T04:20:20Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。