論文の概要: Calibrating Semantic Uncertainty from Observable Language-Model Probabilities
- arxiv url: http://arxiv.org/abs/2607.17447v1
- Date: Mon, 20 Jul 2026 00:29:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.469339
- Title: Calibrating Semantic Uncertainty from Observable Language-Model Probabilities
- Title（参考訳）: 可観測言語モデル確率からの意味的不確かさの校正
- Abstract要約: 言語モデルは単語よりも確率を生み出すが、専門的な決定は意味のある状態に対して不確実性を必要とする。
宣言された状態に対する言語応答から確率への応答に対する確率から、事前に特定され、検証可能なブリッジであるセマンティックマップを導入する。
我々は、存在、独自性、安定性、シーケンシャルなベイズ更新のための後エラー境界と条件を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models produce probabilities over words, but professional decisions require uncertainty over meaningful states such as diagnoses, hypotheses or operational conditions. A model's printed numerical confidence does not establish reliability. We introduce a semantic map: a prespecified, testable bridge from probabilities over verbal responses to probabilities over declared states, formulated as semiparametric inference for a finite-valued latent state. A reference model defines the target posterior, the language model supplies an unrestricted conditional distribution over verbal responses, and held-out calibration connects them. We derive posterior-error bounds and conditions for existence, uniqueness, stability and sequential Bayesian updating. Crucially, language probabilities depend on the prompt's lexical form, whereas the target posterior is unchanged by information-equivalent rewording. We test the method on professional market text compiled from Federal Reserve economic and financial series and on controlled simulations with exact posteriors. Across two fitted language models, language-derived probabilities outperform printed numerical probabilities, recover held-out posteriors with valid uncertainty coverage, remain largely stable under paraphrasing, and respond appropriately to altered evidence. The broader implication is that prompt engineering optimizes a wording-dependent response, whereas scientific and professional use requires validated stability of application-relevant meaning. The semantic map turns this general concern into a testable statistical problem and, when its acceptance conditions hold, yields an auditable posterior estimate. The same principle offers a template for auditing classifications, recommendations and other fluent responses that may conceal semantic instability.
- Abstract（参考訳）: 言語モデルは単語よりも確率を生み出すが、専門的な決定は診断、仮説、運用条件といった意味のある状態に対して不確実性を必要とする。
モデルの印刷された数値信頼度は信頼性を確立しない。
宣言された状態に対する確率に対する確率から、有限値の潜在状態に対する半パラメトリック推論として定式化される確率まで、あらかじめ特定され、検証可能なブリッジであるセマンティックマップを導入する。
参照モデルは、対象の後部を定義し、言語モデルは、言語応答に対する制約のない条件分布を提供し、保留校正はそれらを接続する。
我々は、存在、独自性、安定性、シーケンシャルなベイズ更新のための後エラー境界と条件を導出する。
重要なことに、言語確率はプロンプトの語彙形式に依存するが、対象の後方は情報等価な言い換えによって変化しない。
我々は、連邦準備制度理事会(FRB)の経済・金融シリーズから収集した専門的な市場テキストと、正確な後部シミュレーションを用いて、この方法を検証した。
2つの適合言語モデル全体では、言語由来の確率は印刷された数値確率より優れ、確実なカバレッジで保持された後部を回復し、パラフレーズ化の下では大部分が安定し、修正された証拠に適切に応答する。
より広範な意味は、素早いエンジニアリングが単語依存の応答を最適化するのに対して、科学的および専門的な使用には、アプリケーション関連の意味の検証された安定性が必要であるということである。
セマンティックマップは、この一般的な関心事を検証可能な統計問題に変換し、その受け入れ条件が成立すると、監査可能な後続推定が得られる。
同じ原則は、セマンティック不安定を隠蔽する可能性のある分類、レコメンデーション、その他の流動的な応答を監査するためのテンプレートを提供する。
関連論文リスト
- Identification and Learning of Semantic Observation Kernels: Partial Observation, Uniform Recovery, & Minimax Limits [0.0]
我々は、宣言された状態に対する再現可能な後続法を、可観測言語法が支持できるかどうかを問う。
意味写像群 (semantic map group) は、意味等価な連続(continuation)であり、参照後続の保留ケースは、グループ化された言語確率から状態確率への半パラメトリック逆を識別する。
論文 参考訳（メタデータ） (2026-07-25T10:14:58Z) - Sensitivity Uncertainty Alignment in Large Language Models [0.0]
逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。
我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。
我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
論文 参考訳（メタデータ） (2026-04-21T17:53:12Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2025-09-01T13:14:58Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Conformal Linguistic Calibration: Trading-off between Factuality and Specificity [41.45862052156885]
本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する枠組みを提案する。
以上の結果から,本手法は実精度に適合した精度で校正出力を生成する。
論文 参考訳（メタデータ） (2025-02-26T13:01:49Z) - Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。
我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。
ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
論文 参考訳（メタデータ） (2024-12-20T09:02:26Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。