論文の概要: Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting

• arxiv url: http://arxiv.org/abs/2605.27668v1
• Date: Tue, 26 May 2026 20:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.510647
• Title: Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting
• Title（参考訳）: ヒト不確かさを伴うLCMの調整:LCM予測のためのベータ・ベルヌーリ校正器
• Authors: Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren,
• Abstract要約: 本研究では,任意のモデルからの初期点推定予測をイベント確率上の分布に変換するBeta-Bernoulli Calibrator (BBC)を提案する。 以上の結果から,BBCは従来型の校正法やモデルよりも,より精度の高い校正・精度の予測を行っている。
• 参考スコア（独自算出の注目度）: 10.121727570560305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic forecasting estimates the likelihood of uncertain future events. To improve LLM forecasting, existing methods typically learn from binary outcomes to output verbalized forecasts. However, while aggregated human forecasts contain rich information in both the crowd probability estimate and the degree of agreement among forecasters, how to utilize these signals remains underexplored. To address this, we propose the Beta-Bernoulli Calibrator (BBC), which converts an initial point estimate forecast from any model into a distribution over event likelihood, using supervision from both binary outcomes and human forecasts. BBC models event likelihood $p \sim \text{Beta}(α, β)$ and outcome $y \sim \text{Bernoulli}(p)$, with the mean as the calibrated point forecast and the variance as the epistemic uncertainty. Our results show that BBC generally provides better calibrated and more accurate forecasts than both traditional post-hoc calibration methods and models fine-tuned specifically for forecasting, while remaining lightweight and having good generalization. We also show that the epistemic uncertainty captured by BBC is a more reliable predictor of forecasting error than verbalized confidence.
• Abstract（参考訳）: 確率的予測は、不確実な将来の事象の可能性を推定する。 LLM予測を改善するために、既存の手法は二進的な結果から学習し、言語化された予測を出力する。 しかし, 人的予測には, 観客の予測値と予測者間の合意度の両方に豊富な情報が含まれているが, これらの信号の活用方法はまだ未定である。 そこで本研究では,任意のモデルからの初期点推定予測を,連立結果と人的予測の両方からの監督を用いて,事象確率の分布に変換するBeta-Bernoulli Calibrator (BBC)を提案する。 BBC のイベントモデルでは、$p \sim \text{Beta}(α, β)$ と result $y \sim \text{Bernoulli}(p)$ が、平均を校正された点予測と、疫学的な不確実性として分散する。 以上の結果から,BBCは従来型の冷房後校正法や予測用モデルよりも精度の高い校正・精度の予測を行う一方,軽量であり,一般化性も良好であることが示唆された。 また,BBCが捉えたてんかんの不確実性は,言語的信頼感よりも予測誤差の予測因子として信頼性が高いことを示す。

関連論文リスト

• The Forecast Critic: Leveraging Large Language Models for Poor Forecast Identification [74.64864354503204]
  本稿では,Large Language Models (LLM) を利用した予測自動監視システムであるThe Forecast Criticを提案する。 LLMの時系列予測品質を評価する能力を評価する。 合成および実世界の予測データを含む3つの実験を行った。
  論文  参考訳（メタデータ） (2025-12-12T21:59:53Z)
• Conditional Forecasts and Proper Scoring Rules for Reliable and Accurate Performative Predictions [1.1087735229999816]
  結果から分離した共変量に対する条件付け予測が,目標分布予測不変量となることを示す。 また, (i) 決定論的条件下では, 予測が分離された場合, 正しい予測とインセンティブに適合する予測が適用可能であること, (ii) 予測と対象変数の帰納分布の偏りの未偏り推定によるスコアが正しい予測をもたらすこと, の2つの解を同定した。 本結果は,従来の予測評価の基本的限界を明らかにし,信頼性と精度の高い予測を行うための新しいツールを提供する。
  論文  参考訳（メタデータ） (2025-10-24T10:59:21Z)
• Hybrid Forecasting of Geopolitical Events [71.73737011120103]
  SAGEは、人間と機械が生成した予測を組み合わせたハイブリッド予測システムである。 このシステムは、確率と評価されたスキルに基づいて、人間と機械の予測の重み付けを集約する。 機械による予測にアクセスできる熟練した予測者は、過去のデータしか見ていない者よりも優れていた。
  論文  参考訳（メタデータ） (2024-12-14T22:09:45Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Movement-Prediction-Adjusted Naive Forecast [6.935130578959931]
  MPANF (Motion-Prediction-Adjusted Naive forecast) は, 偏差ベースラインを超えて点予測を改善するために設計されている。 MPANFは、信頼できる動き予測が利用できる場合に有効な第2段階の手法として機能する。
  論文  参考訳（メタデータ） (2024-06-20T16:32:18Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Evaluation of Machine Learning Techniques for Forecast Uncertainty Quantification [0.13999481573773068]
  アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。 アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。 本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
  論文  参考訳（メタデータ） (2021-11-29T16:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。