論文の概要: GrACE: A Generative Approach to Better Confidence Elicitation in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.09438v1
• Date: Thu, 11 Sep 2025 13:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.396594
• Title: GrACE: A Generative Approach to Better Confidence Elicitation in Large Language Models
• Title（参考訳）: GrACE: 大規模言語モデルにおける信頼性向上のためのジェネレーティブアプローチ
• Authors: Zhaohan Zhang, Ziquan Liu, Ioannis Patras,
• Abstract要約: 信頼の喚起は、医療やファイナンスといった高度なアプリケーションにおいて、AIの安全性に対する顕著なアプローチである。 既存の手法では、高価な計算オーバーヘッドを必要とするか、キャリブレーションの悪さに悩まされ、現実の展開には実用的でなく信頼性が低い。 我々は,LLMのスケーラブルで信頼性の高い信頼性推論を可能にする,信頼緩和のためのジェネレーティブアプローチであるGrACEを提案する。
• 参考スコア（独自算出の注目度）: 37.3708358049548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing the reliability of Large Language Models (LLMs) by confidence elicitation is a prominent approach to AI safety in high-stakes applications, such as healthcare and finance. Existing methods either require expensive computational overhead or suffer from poor calibration, making them impractical and unreliable for real-world deployment. In this work, we propose GrACE, a Generative Approach to Confidence Elicitation that enables scalable and reliable confidence elicitation for LLMs. GrACE adopts a novel mechanism in which the model expresses confidence by the similarity between the last hidden state and the embedding of a special token appended to the vocabulary, in real-time. We fine-tune the model for calibrating the confidence with calibration targets associated with accuracy. Experiments with three LLMs and two benchmark datasets show that the confidence produced by GrACE achieves the best discriminative capacity and calibration on open-ended generation tasks, outperforming six competing methods without resorting to additional sampling or an auxiliary model. Moreover, we propose two strategies for improving test-time scaling based on confidence induced by GrACE. Experimental results show that using GrACE not only improves the accuracy of the final decision but also significantly reduces the number of required samples in the test-time scaling scheme, indicating the potential of GrACE as a practical solution for deploying LLMs with scalable, reliable, and real-time confidence estimation.
• Abstract（参考訳）: 信頼誘導によるLLM(Large Language Models)の信頼性を評価することは、医療やファイナンスといった高度なアプリケーションにおいて、AI安全性に対する顕著なアプローチである。 既存の手法では、高価な計算オーバーヘッドを必要とするか、キャリブレーションの悪さに悩まされ、現実の展開には実用的でなく信頼性が低い。 本研究は,LLMのスケーラブルで信頼性の高い信頼性推論を実現するための,信頼緩和のためのジェネレーティブアプローチであるGrACEを提案する。 GrACEは、最後に隠された状態と語彙に付加された特別なトークンの埋め込みとの類似性によってモデルが信頼を表現する新しいメカニズムをリアルタイムで採用している。 精度に付随する校正目標を用いて信頼性を校正するモデルを微調整する。 3つのLCMと2つのベンチマークデータセットを用いて実験したところ、GrACEが生成した信頼度は、追加サンプリングや補助モデルに頼らずに6つの競合する手法よりも優れた識別能力とキャリブレーションを達成することが示された。 さらに,GrACEによる信頼度に基づくテスト時間スケーリングを改善するための2つの手法を提案する。 実験結果から, GrACEは最終決定の精度を向上するだけでなく, テスト時間スケーリング方式で必要なサンプル数を大幅に削減し, 拡張性, 信頼性, リアルタイム信頼度を考慮したLCMの実用的ソリューションとしてのGrACEの可能性を示した。

関連論文リスト

• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Towards Harmonized Uncertainty Estimation for Large Language Models [22.58034272573749]
  不確実性推定によって世代間の信頼性を定量化することが不可欠である。 CUE(Corrector for Uncertainity Estimation:不確かさ推定のためのコレクタ)を提案する。
  論文  参考訳（メタデータ） (2025-05-25T10:17:57Z)
• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
  大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。 オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。 以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-15T06:44:26Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。