論文の概要: ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
- arxiv url: http://arxiv.org/abs/2610.17016v1
- Date: Mon, 12 Oct 2026 15:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.40365
- Title: ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
- Title（参考訳）: ProbabilityBench: 厳密な地道不確かさによるモデル評価と校正
- Abstract要約: ProbabilityBenchは3つのシミュレートされたテキストベースのドメインにまたがって、正確にインスタンスレベルのクラス確率を提供するベンチマークである。
各環境の完全なデータ生成プロセスを明確に定義することにより、正確なクラス確率とベイズ誤差の両方を解析的に計算する。
この精度は、KL発散による報告された確率品質の直接測定を可能にする。
- 参考スコア（独自算出の注目度）: 6.6550591066306835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating model uncertainty on real-world data is challenging because each instance provides only a single observed label, leaving true conditional class probabilities unknown. To address this, we introduce ProbabilityBench, a benchmark that provides exact, instance-level class probabilities across three simulated text-based domains: peer review, covert information transfer, and credit risk. By explicitly defining the full data-generating process for each environment, we analytically compute both exact class probabilities and Bayes error. Furthermore, we provide a theoretical guarantee that rendering these cases into natural-language memos strictly preserves their underlying generative probabilities. This exactness enables direct measurement of reported probability quality via KL divergence. Across 16 evaluated models, most models on the observed cost-quality Pareto frontiers are decision models, including Jev and Perplexity Decider. Finally, ProbabilityBench serves as a meta-evaluation framework, leveraging known ground-truth values to benchmark the accuracy of standard calibration metrics and Bayes-error estimators themselves.
- Abstract（参考訳）: 実世界のデータに対するモデルの不確実性を評価することは、各インスタンスが1つの観測されたラベルしか提供せず、真の条件付きクラス確率が不明なままであるため、難しい。
ProbabilityBenchは3つのシミュレートされたテキストベースのドメイン(ピアレビュー、隠蔽情報転送、信用リスク)に対して、正確なインスタンスレベルのクラス確率を提供するベンチマークである。
各環境の完全なデータ生成プロセスを明確に定義することにより、正確なクラス確率とベイズ誤差の両方を解析的に計算する。
さらに、これらの事例を自然言語メモにレンダリングすることは、その基盤となる発生確率を厳密に保持する理論的な保証を提供する。
この精度は、KL発散による報告された確率品質の直接測定を可能にする。
16モデル以上の評価モデルにおいて、観測されたコスト品質のParetoフロンティアのほとんどのモデルは、JevやPerplexity Deciderを含む決定モデルである。
最後に、ProbabilityBenchはメタ評価フレームワークとして機能し、標準的な校正基準の精度とベイズエラー推定器自体の精度をベンチマークするために既知の地平値を活用する。
関連論文リスト
- Calibration Assessment for Nested Uncertainty Sets [0.0]
本研究では,ネストした不確実性集合の校正をシミュレーション研究から評価するためのベイズ的枠組みを提案する。
限られた数のシミュレーション研究が利用可能であっても,誤校正を検出することができることを示す。
論文 参考訳（メタデータ） (2026-10-03T22:31:35Z) - Unified Multimodal Uncertain Inference [81.64340342055327]
Unified Multimodal Uncertain Inference (UMUI)は、テキスト、オーディオ、ビデオにまたがるタスクである。
自己整合型教師校正と分布に基づく校正型自信探索を併用して予測を行うCLUE(Calibrated Latent Uncertainty Estimation)を提案する。
論文 参考訳（メタデータ） (2026-04-09T18:46:34Z) - Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。
アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
論文 参考訳（メタデータ） (2025-11-26T01:29:49Z) - Bias and Identifiability in the Bounded Confidence Model [4.660328753262075]
有界信頼モデル(bounded confidence model)は、集団がコンセンサス、断片化、分極に達する方法を記述している。
モデルパラメータの推定は重要な側面であり、最大推定はそれに取り組むための原則的な方法を提供する。
この結果から, 確率関数の解析は, 仮説力学モデルのパラメータを推定する際の落とし穴や可能性をよりよく理解するための実りある手法であることが示唆された。
論文 参考訳（メタデータ） (2025-06-13T13:04:29Z) - Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。
本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。
その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
論文 参考訳（メタデータ） (2024-08-06T19:53:00Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Evaluating Aleatoric Uncertainty via Conditional Generative Models [15.494774321257939]
本研究では,アレータティック不確実性推定のための条件生成モデルについて検討する。
本稿では,2つの条件分布間の差を測定するための2つの指標を提案する。
我々は,我々の測定値が条件分布の相違を正確に測定する方法を数値的に示す。
論文 参考訳（メタデータ） (2022-06-09T05:39:04Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。
我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。
まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
論文 参考訳（メタデータ） (2020-08-19T16:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。