論文の概要: Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters
- arxiv url: http://arxiv.org/abs/2607.14051v1
- Date: Wed, 15 Jul 2026 17:21:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.840988
- Title: Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters
- Title（参考訳）: 米ハインドキャスト:予測市場をリプレース、LLMの予測を下方修正
- Abstract要約: Hindcastは過去のイベントに基づいて予測を評価するツールである。
それは、起こったことと市場自身の価格の両方に対して、それぞれの予測をスコア付けします。
モデルの改善に伴い、新たな市場での評価が再燃する。
- 参考スコア（独自算出の注目度）: 7.025464556916984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forecasters are evaluated by backtesting, which replays resolved questions and grades the probability the system would have assigned before the outcome was known. For LLMs, two channels leak the answer into this test. A model that retrieves can surface reports written after the event, turning forecasting into a lookup, and each new model is trained on data closer to the event, so a question that lay in the future for last year's models sits inside this year's training data. Either way, the test grades recall while claiming to grade foresight. We introduce Hindcast, which closes both leaks by grading a model as if it stood at a chosen past date $t_0$, before the outcome existed in either channel. Hindcast replays resolved Polymarket prediction markets against a frozen snapshot of public Reddit, lets the model read only posts written before $t_0$, and scores each forecast against both what happened and the market's own price at $t_0$, itself a human forecast made from the same past information. Because the cutoff is set per market and the snapshot never changes, the evaluation re-runs on new markets as models improve, without going stale. Once the leak is closed, retrieval still helps most models, but only where Reddit discussed the event beforehand. Where the archive carried only speculation, retrieval hurts.
- Abstract（参考訳）: フォアキャスターはバックテストによって評価され、解決された質問をリプレイし、結果が知られる前にシステムが割り当てた確率を格付けする。
LLMでは、このテストに回答をリークするチャンネルが2つある。
イベントを検索するモデルは、イベント後に書かれたレポートをサーフェスし、予測をルックアップに変換し、各新しいモデルはイベントに近いデータに基づいてトレーニングされる。
いずれにせよ、テストグレードは前向きに評価しながらリコールされる。
いずれのチャネルにも結果が存在する前に、選択した過去の日付である$t_0$のように、モデルをグレードすることで、両方のリークをクローズするHendcastを紹介します。
Hindcastはポリマーケットの予測市場を、公開Redditの凍結したスナップショットに対してリプレイし、モデルは$t_0$以前に書かれた記事のみを読み取ることができる。
カットオフは市場ごとに設定され、スナップショットは決して変更されないため、モデルの改善に伴って新たなマーケットで評価が再実施される。
リークがクローズされた後も、検索はほとんどのモデルに役立つが、Redditが前もってイベントについて議論した場所のみだ。
アーカイブが憶測だけを積んだところでは、検索が痛む。
関連論文リスト
- Repurposing Deep Limit Order Book Forecasting for Scenario-Conditioned Market Impact Modeling [49.590388401787834]
本稿では,機械的に有効な反事実メッセージの注入前後の予測者の予測分布を比較するモデルに依存しないフレームワークを提案する。
トランスフォーマーをベースとした予測器は、スピアマンの相関関係を0.99と97.2%と、実現した歴史的成果との方向性の一致で、シナリオランキングを回復した。
論文 参考訳（メタデータ） (2026-09-15T10:06:03Z) - Beyond Forecasting: The Belief-to-Trade Layer in Prediction-Market Agents [6.594727504558221]
我々は、私たちの知る限り、予測市場のための最初の自律的取引代理店であるRaven-Agentを提案する。
我々のアーキテクチャは、テストされたすべてのポリシーの中で唯一肯定的なリターンと、唯一肯定的なリスク調整されたリターンを達成する。
論文 参考訳（メタデータ） (2026-07-03T06:49:48Z) - From Data to Behavior: Predicting Unintended Model Behaviors Before Training [78.37660873165284]
トレーニング前に意図しないモデルの振る舞いを予測する新しいタスクであるData2Behaviorを紹介する。
また,その平均表現を通して候補データを要約する軽量な手法として,MDF(Manipulating Data Features)を提案する。
Qwen3-14B、Qwen2.5-32B-Instruct、Gemma-3-12b-itの実験では、MDFは意図しない振る舞いを予測でき、事前訓練済みの脆弱性に関する洞察を与える。
論文 参考訳（メタデータ） (2026-02-04T16:37:17Z) - Forecasting Future Language: Context Design for Mention Markets [81.25011140991566]
我々は、参照市場における正確な予測を支援するために、入力コンテキストをどのように設計するかを検討する。
1 より豊かなコンテキストは予測性能を継続的に改善し、(2)市場条件付きプロンプト(MCP)は事前の市場確率を扱い、テキストによる証拠を用いてそれを更新し、より良いキャリブレーションの予測を得る、(3)市場確率とMCP(MixMCP)の混合が市場ベースラインを上回っている、という3つの洞察を得た。
論文 参考訳（メタデータ） (2026-02-04T12:43:31Z) - Scaling Open-Ended Reasoning to Predict the Future [56.672065928345525]
我々は、オープンエンドの予測質問の予測を行うために言語モデルを訓練する。
トレーニングデータをスケールアップするために、毎日のニュースで報告されるグローバルイベントから新しい予測質問を合成する。
トレーニングの予測によるキャリブレーションの改善は、一般的なベンチマークで一般化されている。
論文 参考訳（メタデータ） (2025-12-31T18:59:51Z) - Conservative Predictions on Noisy Financial Data [6.300716661852326]
金融市場の価格変動は、非常に騒々しいことがよく知られている。
従来のルール学習技術は、高精度なルールのみを求め、先行者が適用されない予測を控えるものだった。
我々は、モデルが不確実であるデータポイントの予測を控える、同様のアプローチを適用する。
論文 参考訳（メタデータ） (2023-10-18T09:14:19Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - Fallen Angel Bonds Investment and Bankruptcy Predictions Using Manual
Models and Automated Machine Learning [0.0]
私たちは、倒産を予測できる最適な機械学習モデルを作成しました。
モデルは、当初のデータセット上での破産をうまく予測しなかった。
しかし、過剰サンプリングされた機能選択データセットは、非常によく機能しました。
論文 参考訳（メタデータ） (2022-12-07T04:39:49Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Machine Learning Classification and Portfolio Allocation: with Implications from Machine Uncertainty [7.175376245455319]
マルチクラス機械学習分類器を使用して、他の株より優れているか、または劣っている株を識別する。
その結果得られた長短ポートフォリオは、毎年1.67(価値重み)と3.35(等重み)のシャープ比を達成する。
これらの結果は、機械学習のレグレッションを制御した後も継続し、大口株の間では堅牢なままである。
論文 参考訳（メタデータ） (2021-08-04T20:48:27Z) - Models, Markets, and the Forecasting of Elections [3.8138805042090325]
我々は、選挙の数ヶ月前に市場のパフォーマンスが向上し、選挙が近づくにつれてモデルが良くなるという、時間とともに正確さの体系的な違いを見出した。
取引ボットを介してモデル予測を組み込んで合成予測を生成する市場設計を提案する。
論文 参考訳（メタデータ） (2021-02-06T19:05:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。