論文の概要: Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.03846v1
• Date: Tue, 02 Jun 2026 16:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.155343
• Title: Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models
• Title（参考訳）: クラスタ化自己評価:大規模言語モデルにおける不確実性定量化の簡易かつ効果的な方法
• Authors: Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa,
• Abstract要約: 本研究では,大規模言語モデルにおける不確実性定量化のための簡易かつ効果的な自己評価手法を提案する。 提案手法は,世代を意味的に異なるクラスタに分類し,構造化された複数選択質問の回答オプションに変換し,モデルによって割り当てられた確率を信頼度推定として利用する。
• 参考スコア（独自算出の注目度）: 44.59799077650502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate remarkable performance across diverse tasks, but they often generate responses that appear plausible while being factually incorrect. This problem is compounded by the lack of explicit uncertainty estimates, which makes it difficult for users to judge the reliability of model outputs. Existing uncertainty quantification methods typically rely on indirect signals, such as entropy across sampled generations. These signals can be difficult to interpret and do not fully leverage the model's ability to assess its own uncertainty. We propose a simple yet effective self-assessment method for uncertainty quantification in LLMs. Our approach groups sampled generations into semantically distinct clusters, converts them into answer options in a structured multiple-choice question, and uses the probability assigned by the LLM to each option as a confidence estimate. Experiments across multiple models and datasets show that our method consistently outperforms baseline approaches. Notably, it achieves competitive performance with as few as two additional samples, demonstrating both its effectiveness and efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示すが、実際には正しくないように見える応答を生成することが多い。 この問題は、明確な不確実性推定の欠如によって複雑化され、モデル出力の信頼性を判断することが困難になる。 既存の不確実な定量化法は典型的には、サンプル世代間のエントロピーのような間接的な信号に依存する。 これらの信号は解釈が困難であり、モデルが不確実性を評価する能力を完全に活用できない。 LLMにおける不確実性定量化のための簡易かつ効果的な自己評価法を提案する。 提案手法は,世代を意味的に異なるクラスタに分類し,構造化された複数選択質問の回答オプションに変換し,各選択肢にLLMが割り当てた確率を信頼度推定として利用する。 複数のモデルとデータセットをまたいだ実験により、我々の手法はベースラインアプローチよりも一貫して優れています。 特に、2つの追加サンプルで競合性能を達成し、その有効性と効率を実証している。

関連論文リスト

• Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models [46.44117909405577]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。 不確実性定量化は、潜在的に信頼できない出力を特定するための有望な方法を提供する。 本稿では,効率的な不確実性定量化手法であるセマンティックトークンクラスタリング(STC)を提案する。
  論文  参考訳（メタデータ） (2026-03-20T17:37:33Z)
• Probabilities Are All You Need: A Probability-Only Approach to Uncertainty Estimation in Large Language Models [13.41454380481593]
  不確実性推定は、しばしば予測エントロピー推定を用いて、この問題に対処する鍵となる。 本稿では,応答のトップ-$K$確率を用いて予測エントロピーを近似する,効率的でトレーニング不要な不確実性推定手法を提案する。
  論文  参考訳（メタデータ） (2025-11-10T23:31:43Z)
• Teaching Language Models to Faithfully Express their Uncertainty [8.022069644392786]
  大きな言語モデル(LLM)は、しばしば不確実性を誤解する。 本稿では,FUT(Fithful Uncertainity Tuning)を導入し,不確かさを忠実に表現する指導用LLMを指導する。
  論文  参考訳（メタデータ） (2025-10-14T14:42:40Z)
• The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations [33.65540900920885]
  大規模言語モデル(LLM)によって知覚される入力質問の難しさを推定することは、正確な性能評価と適応推論に不可欠である。 本稿では,LLMが生成する隠れ表現のみを利用する難易度推定手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T09:38:41Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。