論文の概要: Verbalized and Internal Probabilities Are Coupled in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.00827v1
- Date: Wed, 30 Sep 2026 23:37:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.806338
- Title: Verbalized and Internal Probabilities Are Coupled in Large Language Models
- Title（参考訳）: 言語モデルにおける言語化と内部確率の結合
- Abstract要約: 内的および言語的確率の読み出しは、トレーニングデータにおける分布的および断定的不確実性によって影響されることが判明した。
言語化と内部確率は、同じ不確実性ソースを独立に追跡することによって、予想以上に一致していることがわかった。
- 参考スコア（独自算出の注目度）: 6.0367842349484375
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models carry an internal notion of uncertainty in their sampling distribution, i.e., the probabilities they place on generating one answer rather than another. They can also be asked to state a confidence, in words or as a number: a verbalized uncertainty. Prior work suggests that internal probabilities track relative frequencies in the training data, and that verbalized probabilities track explicit probabilistic assertions in the training data. However, we do not know whether these two readouts are aligned, except when frequencies and probabilistic assertions in the training data happen to align. This limits our understanding of when we can use verbalized uncertainties as a proxy for either training data frequencies, or a model's internal distribution. We resolve this gap by systematically exploring how LLMs probability readouts are impacted by training and in-context data, via intervening on the underlying uncertainty sources in the data. We find that both internal and verbalized probability readouts are impacted by both distributional and asserted uncertainty in the training data. Further, we find that verbalized and internal probabilities are aligned beyond what would be expected by independently tracking the same uncertainty sources, suggesting that verbalized probabilities can be used to probe a model's internal distribution.
- Abstract（参考訳）: 大規模言語モデルはサンプリング分布において不確実性という内部概念を持ち、すなわち、ある解を生成する確率は別の解ではなく、別の解を生成する。
彼らはまた、自信を言葉で、あるいは数字として、口頭で不確実性を示すように求めることもできる。
事前の研究では、内部確率はトレーニングデータの相対周波数を追跡し、言語化された確率はトレーニングデータの明示的な確率的アサーションを追跡することを示唆している。
しかし、トレーニングデータの周波数と確率的アサーションが一致している場合を除いて、これらの2つの読み出しが一致しているかどうかは不明です。
これにより、データ周波数のトレーニングやモデルの内部分布のプロキシとして、言語化された不確実性をいつ使用できるかの理解が制限されます。
我々は,LLMの可読化がトレーニングやコンテキスト内データによってどのように影響するかを,基礎となる不確実性ソースに介入することによって,系統的に検討することで,このギャップを解消する。
内的および言語的確率の読み出しは、トレーニングデータにおける分布的および断定的不確実性によって影響されることが判明した。
さらに、同じ不確実性源を独立に追跡することで、言語化確率と内部確率が予想以上に一致していることが判明し、言語化確率をモデルの内部分布の探索に利用できることが示唆された。
関連論文リスト
- Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation [20.39535344813245]
予測確率のような内部信号に基づく教師なしのアプローチは、正確性ではなく選択肢間の確実性を反映しているため、誤解を招く可能性がある。
我々は,これらの欠点を伴わずにLLM毎の信頼度を抽出し,その信頼性をモデルの内部信号の確実性と比較する5つの言語化手法を考案した。
内部的手法と言語的手法の相関はほとんど見つからない。
論文 参考訳（メタデータ） (2026-06-15T19:27:47Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - Testing Independence of Exchangeable Random Variables [19.973896010415977]
十分なシャッフルデータがあれば、データ項目が統計的に(非)依存しているかどうかを判断できますか?
これは可能であることを示し、データが独立で同一に分散されているというヌル仮説を確実に拒否できるテストを開発する。
潜在的なアプリケーションはDeep Learningで、データはしばしばインターネット全体から取り除かれ、重複は多い。
論文 参考訳（メタデータ） (2022-10-22T08:55:48Z) - A Gentle Introduction to Conformal Prediction and Distribution-Free
Uncertainty Quantification [1.90365714903665]
このハンズオン導入は、配布不要なUQの実践的な実装に関心のある読者を対象としている。
PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
論文 参考訳（メタデータ） (2021-07-15T17:59:50Z) - Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。
ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。
そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
論文 参考訳（メタデータ） (2021-02-22T10:03:15Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Fair Densities via Boosting the Sufficient Statistics of Exponential
Families [72.34223801798422]
フェアネスのためのデータ前処理にブースティングアルゴリズムを導入する。
私たちのアプローチは、最小限の公平性を確保しながら、より良いデータフィッティングへとシフトします。
実世界のデータに結果の質を示す実験結果が提示される。
論文 参考訳（メタデータ） (2020-12-01T00:49:17Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Stable Prediction via Leveraging Seed Variable [73.9770220107874]
従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。
本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。
我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-06-09T06:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。