論文の概要: Competence-Gated Pooling of Language Models and Priors for Event Forecasting
- arxiv url: http://arxiv.org/abs/2609.12101v1
- Date: Thu, 10 Sep 2026 18:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.50973
- Title: Competence-Gated Pooling of Language Models and Priors for Event Forecasting
- Title（参考訳）: イベントフォアキャスティングにおける言語モデルと事前の能力保証型ポーリング
- Abstract要約: モデル不一致が外部予測を改善し、ドメイン固有の重みの使用による利得を導出できる場合の特徴付けを行う。
本稿では,解決された結果からドメインレベルのソース重みを推定し,不確実な見積もりをグローバルな重みに縮小し,プールされた予測を再検討する能力ゲートを導入する。
このゲートは公式のForecastBenchマーケットのサブセットに顕著な改善を与えていない。
- 参考スコア（独自算出の注目度）: 38.098764596232996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In hybrid forecasting, a language model is often one of several available signals. A system may already have a market, crowd, or statistical forecast and must decide whether the model adds useful information or should be ignored. The relevant target is therefore not standalone model accuracy, but relative competence, defined as the model's marginal value beyond the available external forecast. Under Brier loss, we characterize when model disagreement can improve an external forecast and derive the gain from using domain-specific rather than global pooling weights. We then introduce a competence gate that estimates domain-level source weights from resolved outcomes, shrinks uncertain estimates toward a global weight, and recalibrates the pooled forecast. Across 2,357 resolved binary questions and five language models, the gate improves the main external baseline from 0.0771 to 0.0732 Brier and significantly outperforms global forecast combinations. The gain remains significant under leakage controls and against a leakage-safe time-series prior on the pooled structured set, with separate evidence on FRED. In contrast, the gate gives no significant improvement on the official ForecastBench market subset, where it largely defers to the market. Across four Qwen models, verbal confidence does not reliably identify when the model outperforms the external forecast, while outcome-estimated competence supports better abstention decisions. These results provide a practical approach for selective model use based on measured marginal value.
- Abstract（参考訳）: ハイブリッド予測では、言語モデルはしばしばいくつかの利用可能な信号の1つである。
システムは、既に市場、群衆、あるいは統計的予測を持ち、モデルが有用な情報を追加するか無視するかを決定する必要がある。
したがって、関連するターゲットはスタンドアロンのモデルの精度ではなく、モデルの限界値として定義されている相対的な能力である。
ブリアロスの下では、モデル不一致が外部予測を改善することができ、大域的なプール重みよりもドメイン固有値を使うことによる利得を導出できる場合の特徴付けを行う。
次に、解決された結果からドメインレベルのソースの重みを推定し、不確実な見積をグローバルな重みに縮小し、プールされた予測を再検討する能力ゲートを導入する。
2,357で2次質問と5つの言語モデルが解決され、このゲートはメインの外部ベースラインを0.0771から0.0732 Brierに改善し、グローバルな予測の組み合わせを大幅に上回った。
リークコントロールや、プールされた構造化セットの前のリークセーフな時系列に対して、FREDには別の証拠がある。
対照的に、このゲートは公式のForecastBenchマーケットサブセットに顕著な改善を与えていない。
4つのQwenモデル全体で、モデルが外部予測を上回った時点では、言語的信頼度が確実に識別されない。
これらの結果は, 実測限界値に基づく選択的モデル利用の実践的アプローチを提供する。
関連論文リスト
- Calibration-Aware Uncertainty Cascades for Efficient Heterogeneous Model Collaboration [18.045450334322545]
不均一なモデルコラボレーションは、予測性能と推論コストのバランスをとるために、異なるモデルの相補的な強みを活用することを目指している。
既存のアプローチでは、ルーティング決定を固定されたタスクとモデルプールに結びつける訓練されたルータや、しきい値が不均一なモデル間で一貫性のあるセマンティクスを欠いている生の自信のカスケードに頼っているのが一般的である。
本稿では,各モデルの信頼性を独立に校正し,検証データを用いてデプロイメントポリシを選択する,シンプルなポストホックフレームワークであるCAUCを提案する。
論文 参考訳（メタデータ） (2026-09-10T12:14:54Z) - Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most [11.4807141145402]
逆スケーリングでは、より有能なモデルでは、超線形成長を伴う問題を予測し、状態変化の尾リスクを予測し、分布予測が悪化する。
このパターンはForecastBench-Simで、線形制御にマッチした合成SIRの流行を予測し、COVID-19、麻疹、住宅市場、ハイパーインフレの実際のデータセットに複製する。
この逆スケーリングは、LLM予測ベンチマークに共通する単一閾値のメトリクスには現れず、同一出力における能力-正確性関係のサインを逆転させる。
論文 参考訳（メタデータ） (2026-05-21T16:14:33Z) - Bi-Level Chaotic Fusion Based Graph Convolutional Network for Stock Market Prediction Interval [0.0]
金融市場の予測は本質的に不確実であるが、ほとんどのディープラーニングアプローチは不確実性のない単一見積もりに依存している。
この問題は予測間隔を用いて解くことができ、予測の不確実性と低い境界が得られる。
しかし、現在の手法は資産間の関係を無視したり、適切な校正シャープネスを確保することができない傾向にある。
論文 参考訳（メタデータ） (2026-05-05T05:06:42Z) - Analyzing Uncertainty Quantification in Statistical and Deep Learning Models for Probabilistic Electricity Price Forecasting [0.0]
本研究では,最先端統計・深層学習確率予測モデルにおける不確実性の定量化について検討する。
我々は、ディープ分散ニューラルネットワーク(DDNN)を考察し、それらをアンサンブルアプローチ、モンテカルロ(MC)ドロップアウト、共形予測で強化する。
様々な性能指標から、LEARベースのモデルは確率的予測において良好に機能することがわかった。
論文 参考訳（メタデータ） (2025-09-23T15:20:03Z) - Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。
我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
論文 参考訳（メタデータ） (2023-04-13T17:56:08Z) - Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。
本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文 参考訳（メタデータ） (2022-08-16T08:03:30Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Evaluation of Machine Learning Techniques for Forecast Uncertainty
Quantification [0.13999481573773068]
アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。
アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。
本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
論文 参考訳（メタデータ） (2021-11-29T16:52:17Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。