論文の概要: Uncertainty Quantification of Large Language Models using Approximate Bayesian Computation

• arxiv url: http://arxiv.org/abs/2509.19375v1
• Date: Fri, 19 Sep 2025 21:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.525455
• Title: Uncertainty Quantification of Large Language Models using Approximate Bayesian Computation
• Title（参考訳）: 近似ベイズ計算を用いた大規模言語モデルの不確実性定量化
• Authors: Mridul Sharma, Adeetya Patel, Zaneta D' Souza, Samira Abbasgholizadeh Rahimi, Siva Reddy, Sreenath Madathil,
• Abstract要約: 本稿では,大言語モデル(LLM)を予測確率よりも後続分布を推定するシミュレータとして扱う,確率自由ベイズ推論に基づくアプローチである近似計算(ABC)を提案する。 ABCは46.9%まで精度を向上し、ブライアのスコアを74.4%削減し、予測誤差(ECE)と予測エントロピーによって測定されたキャリブレーションを向上させる。
• 参考スコア（独自算出の注目度）: 19.76169505918617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their widespread applications, Large Language Models (LLMs) often struggle to express uncertainty, posing a challenge for reliable deployment in high stakes and safety critical domains like clinical diagnostics. Existing standard baseline methods such as model logits and elicited probabilities produce overconfident and poorly calibrated estimates. In this work, we propose Approximate Bayesian Computation (ABC), a likelihood-free Bayesian inference, based approach that treats LLMs as a stochastic simulator to infer posterior distributions over predictive probabilities. We evaluate our ABC approach on two clinically relevant benchmarks: a synthetic oral lesion diagnosis dataset and the publicly available GretelAI symptom-to-diagnosis dataset. Compared to standard baselines, our approach improves accuracy by up to 46.9\%, reduces Brier scores by 74.4\%, and enhances calibration as measured by Expected Calibration Error (ECE) and predictive entropy.
• Abstract（参考訳）: 広く応用されているにもかかわらず、LLM(Large Language Models)は、しばしば不確実性を表現するのに苦労しており、高い利害関係や臨床診断のような安全上の重要な領域への信頼性の高い展開の難しさを浮き彫りにしている。 モデルロジットや帰納確率などの既存の標準ベースライン手法は、過度に自信を持ち、校正が不十分な見積もりを生み出す。 本研究では,LLMを確率的シミュレータとして扱い,予測確率よりも後方分布を推定する確率自由ベイズ推定手法である近似ベイズ計算(ABC)を提案する。 臨床的に関連のある2つのベンチマーク、すなわち、合成口腔病変診断データセットとGretelAI symptom-to-diagnosisデータセットについてABCアプローチを評価した。 標準ベースラインと比較して,Brierスコアは最大46.9\%,Brierスコアは74.4\%,キャリブレーションは期待キャリブレーション誤差(ECE)と予測エントロピーによって測定される。

関連論文リスト

• Robust Spatiotemporal Epidemic Modeling with Integrated Adaptive Outlier Detection [7.5504472850103435]
  疫病モデルでは、アウトレーヤはパラメータ推定を歪め、公衆衛生上の判断を誤ったものにすることができる。 本稿では、この歪みを軽減するために、ロバストな一般化加法モデル(RST-GAM)を導入する。 アメリカ合衆国における郡レベルのCOVID-19感染データを解析し,RTT-GAMの実用性を実証した。
  論文  参考訳（メタデータ） (2025-07-12T19:23:25Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models [4.619907534483781]
  薬物と標的の相互作用を予測する計算モデルは、新しい治療薬の開発を加速するための貴重なツールである。 しかし、そのようなモデルはキャリブレーションが不十分であり、信頼性の低い不確実性推定をもたらす。 本研究では,ポストホックキャリブレーション法と不確実な定量化手法を組み合わせることで,モデルの精度とキャリブレーションを向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:29:00Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
  医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。 本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models [6.824747267214373]
  本稿では,ベイズ階層回帰モデルに対するクロスバリデーション予測手法を提案する。 理論的な結果を提供し、その効果を公開データやシミュレーションで実証する。
  論文  参考訳（メタデータ） (2020-11-29T00:00:20Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。