論文の概要: Can LLMs Predict the Future? A Brier Score Analysis of Prediction Markets
- arxiv url: http://arxiv.org/abs/2609.32885v1
- Date: Sat, 26 Sep 2026 19:12:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 12:14:30.536324
- Title: Can LLMs Predict the Future? A Brier Score Analysis of Prediction Markets
- Title（参考訳）: LLMは未来を予測できるのか? -予測市場の簡単なスコア分析-
- Abstract要約: 問合せのみのゼロショットプロトコルを用いて6種類のClaudeモデルとQwenモデルの評価を行った。
4つのクロードモデルはブラースコア0.183-0.192を達成し、ベースレートを0.024-0.033改善した。
事象カテゴリー間でのモデル内差は、クロード変種間の観測された差を超える。
- 参考スコア（独自算出の注目度）: 4.806394344295207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study whether model upgrades improve probability estimates for prediction-market questions. Our Resolved Market Forecasting (RMF) benchmark contains 3,000 resolved binary questions across nine domains, on which we evaluate six Claude and Qwen model variants using a question-only, zero-shot protocol. We assess Brier scores relative to an empirical base-rate predictor, examine their Murphy decomposition, and compare models through paired differences, with results stratified by event category and timing relative to training cutoffs. In the reported post-cutoff stratum, the four Claude models achieve Brier scores of 0.183-0.192, improving on the base-rate reference by 0.024-0.033. Qwen 32B does not significantly outperform that reference, although its paired Brier is 0.024 lower than that of the 7B checkpoint. The evaluated Claude version and tier upgrades yield no significant improvement. Within-model differences across event categories exceed the observed differences among Claude variants. These results show why forecasting scores should be interpreted alongside simple probability baselines and question composition: under this protocol, newer versions or higher model tiers do not consistently produce more accurate probabilities.
- Abstract（参考訳）: モデルアップグレードが予測市場質問の確率推定を改善するかどうかを検討する。
Resolved Market Forecasting (RMF) ベンチマークには9つの領域にわたる3000の解決されたバイナリ質問が含まれており、質問のみのゼロショットプロトコルを用いて6つのClaudeおよびQwenモデルの変種を評価する。
我々は,経験的ベースレート予測器と比較してブライアスコアを評価し,マーフィー分解を検証し,ペア差によるモデルの比較を行った。
報告されたポストカット層では、4つのクロードモデルがブラースコア0.183-0.192を達成し、ベースレートを0.024-0.033改善した。
Qwen 32Bは7Bチェックポイントよりも0.024低いが、この基準を著しく上回っているわけではない。
評価されたClaudeバージョンとティアアップグレードでは、大幅な改善はない。
事象カテゴリー間でのモデル内差は、クロード変種間の観測された差を超える。
これらの結果は、予測スコアが単純な確率ベースラインと質問構成と共に解釈されるべき理由を示している:このプロトコルでは、新しいバージョン以上のモデル階層が、常により正確な確率を生成できない。
関連論文リスト
- Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。
13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
論文 参考訳（メタデータ） (2026-09-09T08:37:46Z) - ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。
15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。
信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
論文 参考訳（メタデータ） (2026-07-10T01:56:30Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Bi-Level Chaotic Fusion Based Graph Convolutional Network for Stock Market Prediction Interval [0.0]
金融市場の予測は本質的に不確実であるが、ほとんどのディープラーニングアプローチは不確実性のない単一見積もりに依存している。
この問題は予測間隔を用いて解くことができ、予測の不確実性と低い境界が得られる。
しかし、現在の手法は資産間の関係を無視したり、適切な校正シャープネスを確保することができない傾向にある。
論文 参考訳（メタデータ） (2026-05-05T05:06:42Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳（メタデータ） (2026-05-03T20:05:08Z) - Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels [0.0]
大規模言語モデルは、クラウドおよびエッジデプロイメントの推論コストとメモリフットプリントを低減するために、トレーニング後の量子化を通じて定期的に圧縮される。
既存の研究は通常、2つの条件のみを比較し、集約バイアスメトリクスに依存し、単一のモデルファミリを評価する。
12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 - 3-bit) における3つの命令調整モデルの制御実験を行った。
論文 参考訳（メタデータ） (2026-05-02T05:41:47Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z) - Consistency Checks for Language Model Forecasters [54.62507816753479]
予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。
我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
論文 参考訳（メタデータ） (2024-12-24T16:51:35Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。