論文の概要: LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information

• arxiv url: http://arxiv.org/abs/2605.13188v1
• Date: Wed, 13 May 2026 08:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.923098
• Title: LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information
• Title（参考訳）: インシデントインプタとしてのLLM:不確実性は情報不足でスケールすべき
• Authors: Stef van Buuren,
• Abstract要約: 大規模言語モデル(LLM)は、利用可能なコンテキストが不完全あるいは劣化した環境で、ますますデプロイされる。 不完全な文脈下で答えを生成するLLMは暗黙のインデューサとみなすことができると我々は主張する。 繰り返しサンプリングから推定できる2つの回答レベルの不確実性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in settings where the available context is incomplete or degraded. We argue that an LLM generating answers under incomplete context can be viewed as an implicit imputer, and evaluated against a criterion from the multiple imputation (MI) literature: uncertainty should scale with the amount of missing information. We assess this criterion on SQuAD, using a controlled framework in which context availability is varied across five levels. We evaluate two answer-level uncertainty measures that can be estimated from repeated sampling: sampling-based confidence (empirical mode frequency) and response entropy. Confidence fails to reflect increasing missingness: it remains high even as accuracy collapses. Entropy, by contrast, increases with context removal, consistent with the MI analogy, and explains substantially more variance in accuracy than confidence across all evidence levels (quadratic $R^2$ gap up to 0.057). We further introduce a black-box diagnostic $ρ_R(α)$ that estimates the proportion of baseline uncertainty resolved by context level $α$, requiring only repeated sampling with and without context. These results suggest that entropy is a more responsive black-box uncertainty measure than confidence under incomplete context.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、利用可能なコンテキストが不完全あるいは劣化した設定にデプロイされることが多い。 不完全な文脈下でのLLM生成の回答は暗黙のインプタと見なすことができ、Multiple imputation (MI) の文献からの基準に対して評価される:不確実性は、欠落する情報の量とともにスケールすべきである。 SQuADのこの基準は、コンテキストの可用性が5つのレベルに分散する制御されたフレームワークを用いて評価する。 サンプリングベース信頼度(経験的モード周波数)と応答エントロピー(応答エントロピー)という,繰り返しサンプリングから推定できる2つの回答レベル不確実性尺度を評価する。 信頼は欠落の増大を反映せず、正確さが崩壊しても高いままである。 対照的にエントロピーは、MIアナログと整合して文脈除去によって増加し、すべての証拠レベルにおける信頼度よりも相当に精度のばらつきを説明できる($R^2$ gap to 0.057)。 さらに、コンテキストレベル$α$で解決されたベースラインの不確実性の比率を推定するブラックボックス診断$ρ_R(α)$を導入する。 これらの結果から、エントロピーは不完全な文脈下での信頼よりも応答性の高いブラックボックスの不確実性尺度であることが示唆された。

関連論文リスト

• The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
  そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
  論文  参考訳（メタデータ） (2025-11-06T14:46:35Z)
• Semantic Reformulation Entropy for Robust Hallucination Detection in QA Tasks [13.230578301939907]
  既存のエントロピーに基づくセマンティックレベルの不確実性推定法は,可変長解のサンプリングノイズと不安定クラスタリングによって制限される。 本稿では2つの方法で不確実性評価を改善するセマンティック・リフォーム・エントロピー(SRE)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T07:38:45Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。