論文の概要: Logically Consistent Accurate Forecasts
- arxiv url: http://arxiv.org/abs/2611.17735v1
- Date: Fri, 13 Nov 2026 04:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.302899
- Title: Logically Consistent Accurate Forecasts
- Title(参考訳): Logically Consistent Accurate Forecasts
- Abstract要約: 我々は、関連予測を改善しつつ、矛盾を共同で解決するための監督言語モデルを微調整する。
ForecastBench では,検索強化 GPT-5.1 予測器の Brier スコアを 9.3% 改善する。
一貫性と精度の両立を同時に行う方法はない。
- 参考スコア(独自算出の注目度): 15.463427361201914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic forecasting systems based on large language models (LLMs) are now competitive with expert human forecasters, but these systems still suffer from a critical limitation: the inability to produce forecasts that are logically consistent. For example, forecasts for related events often fail to satisfy the axioms of probability, which in turn implies that related forecasts cannot simultaneously be correct and undermines their utility for decision makers. Enforcing consistency is not trivial -- naive approaches (e.g., projection onto the set of consistent forecasts) can degrade accuracy. We argue that the key to overcoming the apparent tradeoff between consistency and accuracy lies in the reasoning which supports each forecast. We finetune a supervisory language model that leverages this reasoning to jointly reconcile inconsistencies while improving the accuracy of related forecasts. On ForecastBench, our method improves the Brier score of a retrieval-augmented GPT-5.1 forecaster by 9.3% while reducing measures of structural inconsistency by 82-90%. We interrogate our method via a comprehensive series of baselines and ablations, and find that no alternative method matches our gains in consistency and accuracy simultaneously.
- Abstract(参考訳): 大規模言語モデル(LLM)に基づくエージェント予測システムは、現在では専門家の予測システムと競合している。
例えば、関連する事象の予測は確率の公理を満たすのに失敗することが多く、その結果、関連する予測は同時に正しいものではなく、意思決定者にとっての有用性を損なうことになる。
一貫性の強制は自明なものではなく、単純なアプローチ(例えば、一貫した予測の集合への投影)は精度を低下させる。
一貫性と正確性の間の明らかなトレードオフを克服する鍵は、各予測を支持する推論にあると我々は主張する。
我々は、この推論を利用して、関連する予測の精度を向上しつつ、矛盾を共同で解決する監督言語モデルを微調整する。
ForecastBench では,検索強化 GPT-5.1 予測器の Brier スコアを 9.3% 改善し,構造的不整合の指標を82-90% 削減した。
我々は,一連のベースラインとアブレーションを通じて本手法を疑問視し,一貫性と精度の両立を同時に行う方法が存在しないことを確認する。
関連論文リスト
- Proper Scoring Rule-based Diffusion for Probabilistic Weather Forecasting [59.015610520217734]
我々は,コンテキストとその劣化バージョンから,同じ将来状態を予測できる補助的条件記述タスクを導入する。
推測時には、予測器は、完全に破損したエンドポイントにおいて、単一の前方通過で各アンサンブル部材を生成することができる。
論文 参考訳(メタデータ) (2026-09-29T22:47:10Z) - Truthful Elicitation of Imprecise Forecasts [11.153198087930756]
我々は,信頼の集合として与えられる不正確な予測を評価するための枠組みを提案する。
集約手順上でランダム化される適切なスコアリングルールを用いて,不正確予測の真正推論が達成可能であることを示す。
論文 参考訳(メタデータ) (2025-03-20T17:53:35Z) - Consistency Checks for Language Model Forecasters [54.62507816753479]
予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。
我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
論文 参考訳(メタデータ) (2024-12-24T16:51:35Z) - Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。
データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-27T21:46:42Z) - When Rigidity Hurts: Soft Consistency Regularization for Probabilistic
Hierarchical Time Series Forecasting [69.30930115236228]
確率的階層的時系列予測は時系列予測の重要な変種である。
ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。
ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
論文 参考訳(メタデータ) (2023-10-17T20:30:16Z) - Optimal reconciliation with immutable forecasts [9.25906680708985]
我々は、変数の既定部分集合の予測が変化しない、あるいは「不変」であるような調整手法を定式化する。
我々は,我々のアプローチがベース予測の偏りを保っていることを証明した。
また,予測誤差の相関を考慮し,予測の非負性を保証する。
論文 参考訳(メタデータ) (2022-04-20T05:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。