論文の概要: Improved Confidence Estimates for Black-Box Large Language Models

• arxiv url: http://arxiv.org/abs/2608.19323v1
• Date: Wed, 19 Aug 2026 18:00:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.368943
• Title: Improved Confidence Estimates for Black-Box Large Language Models
• Title（参考訳）: ブラックボックス大言語モデルの信頼性評価の改善
• Abstract要約: 大規模言語モデル(LLM)の安全な配置には、不確実性定量化(UQ)が不可欠である。 この研究では、このデータセットを活用することで、既存のスコアを一貫して上回ることを示す。 提案手法は計算オーバーヘッドを最小限に抑え、現実のアプリケーションにおいてLLMにおけるUQを安価かつ容易に拡張する。
• 参考スコア（独自算出の注目度）: 8.547023487230565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification (UQ) is essential for the safe deployment of large language models (LLMs). Existing methods, from verbalized confidence to ones requiring multiple generations, are often zero-shot and produce scores quantifying uncertainty without the need for labelled data. Nonetheless, in practice one must always evaluate their performance on a dataset of interest before deployment. In this work we show that, by leveraging this dataset, we consistently outperform these existing scores. Specifically, we build simple classifiers that predict LLM response correctness by using these scores and the correctness of similar queries as features. Our method produces minimal computational overhead, making it a cheap and straightforward enhancement for UQ in LLMs for real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)の安全なデプロイには、不確実性定量化(UQ)が不可欠である。 既存の手法は、言語化された信頼から複数の世代を必要とするものまで、しばしばゼロショットであり、ラベル付きデータを必要とせずに不確実性を定量化するスコアを生成する。 それでも、実際には、デプロイ前に関心のあるデータセットでパフォーマンスを常に評価する必要があります。 この研究では、このデータセットを活用することで、既存のスコアを一貫して上回ることを示す。 具体的には、これらのスコアと類似クエリの正しさを特徴として、LCM応答の正しさを予測する単純な分類器を構築する。 提案手法は計算オーバーヘッドを最小限に抑え、現実のアプリケーションにおいてLLMにおけるUQを安価かつ容易に拡張する。

関連論文リスト

• Learned Hallucination Detection in Black-Box LLMs using Token-level Entropy Production Rate [0.19676943624884313]
  大きな言語モデル(LLM)における幻覚は、質問回答タスクの出力が現実世界の信頼性を著しく損なう。 本稿では,データアクセスに制限のあるシナリオに特化して設計された,ロバストでワンショットの幻覚検出のための応用手法を提案する。 提案手法は,非グリーディ復号時に生成したこれらのログ確率から直接不確実性指標を導出する。
  論文  参考訳（メタデータ） (2025-09-01T13:34:21Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models [76.17975723711886]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、大規模言語モデル(LLM)から真正性を求めるための顕著なアプローチである。 本研究では,テキスト生成のために,分類タスクのUQ技術であるMahalanobis Distance (MD)を適用した。 提案手法は,複数レイヤのLCMからトークン埋め込みを抽出し,各トークンのMDスコアを計算し,これらの特徴を訓練した線形回帰を用いてロバストな不確実性スコアを提供する。
  論文  参考訳（メタデータ） (2025-02-20T10:25:13Z)
• Accelerating Large Language Model Inference with Self-Supervised Early Exits [0.0]
  本稿では,大規模・事前学習型言語モデル(LLM)における推論を高速化する新しい手法を提案する。 本稿では,既存の変圧器層上に早期出口「頭部」を統合し,信頼度基準に基づく条件付き項化を容易にすることを提案する。
  論文  参考訳（メタデータ） (2024-07-30T07:58:28Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
  APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。 概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。 閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
  論文  参考訳（メタデータ） (2024-03-09T17:46:24Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。