Fugu-MT 論文翻訳(概要): Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs

論文の概要: Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs

arxiv url: http://arxiv.org/abs/2306.13063v2
Date: Sun, 17 Mar 2024 04:38:48 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 04:22:24.044737
Title: Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
Title（参考訳）: LLMは不確かさを表現できるか? : LLMにおける信頼緩和の実証評価
Authors: Miao Xiong, Zhiyuan Hu, Xinyang Lu, Yifei Li, Jie Fu, Junxian He, Bryan Hooi,
Abstract要約: 従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
参考スコア（独自算出の注目度）: 60.61002524947733
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Empowering large language models to accurately express confidence in their answers is essential for trustworthy decision-making. Previous confidence elicitation methods, which primarily rely on white-box access to internal model information or model fine-tuning, have become less suitable for LLMs, especially closed-source commercial APIs. This leads to a growing need to explore the untapped area of black-box approaches for LLM uncertainty estimation. To better break down the problem, we define a systematic framework with three components: prompting strategies for eliciting verbalized confidence, sampling methods for generating multiple responses, and aggregation techniques for computing consistency. We then benchmark these methods on two key tasks-confidence calibration and failure prediction-across five types of datasets (e.g., commonsense and arithmetic reasoning) and five widely-used LLMs including GPT-4 and LLaMA 2 Chat. Our analysis uncovers several key insights: 1) LLMs, when verbalizing their confidence, tend to be overconfident, potentially imitating human patterns of expressing confidence. 2) As model capability scales up, both calibration and failure prediction performance improve. 3) Employing our proposed strategies, such as human-inspired prompts, consistency among multiple responses, and better aggregation strategies can help mitigate this overconfidence from various perspectives. 4) Comparisons with white-box methods indicate that while white-box methods perform better, the gap is narrow, e.g., 0.522 to 0.605 in AUROC. Despite these advancements, none of these techniques consistently outperform others, and all investigated methods struggle in challenging tasks, such as those requiring professional knowledge, indicating significant scope for improvement. We believe this study can serve as a strong baseline and provide insights for eliciting confidence in black-box LLMs.
Abstract（参考訳）: 信頼できる意思決定には、大きな言語モデルを活用して、彼らの回答に対する信頼を正確に表現することが不可欠です。従来は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに主に依存していたが、LCM、特にクローズドソース商用APIにはあまり適していなかった。これにより、LCMの不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。問題をよりよく解き明かすために,言語的信頼を導き出すための戦略の推進,複数の応答を生成するためのサンプリング方法,一貫性を計算するための集約技術という,3つのコンポーネントからなる体系的フレームワークを定義した。次に、これらの手法を、GPT-4とLLaMA 2 Chatを含む5種類のデータセット(例えば、コモンセンスと算術推論)と5つの広く使われているLLMの2つの主要なタスク信頼度校正と故障予測にベンチマークする。私たちの分析は、いくつかの重要な洞察を明らかにします。 1) LLMは, 自信を言葉で表すと, 自信を表わす人間のパターンを模倣し, 過度に自信を抱く傾向にある。 2) モデル能力の増大に伴い,キャリブレーションと故障予測性能が向上した。 3)人間にインスパイアされたプロンプト,複数応答間の一貫性,アグリゲーション戦略の改善など,提案した戦略を活用することで,この過信をさまざまな観点から緩和することができる。 4) ホワイトボックス法との比較では, ホワイトボックス法の方が優れているが, ギャップは狭く, AUROCでは0.522～0.605である。これらの進歩にもかかわらず、これらのテクニックは一貫して他よりも優れておらず、すべての調査手法は、専門家の知識を必要とするような困難な課題に苦しむ。我々は,この研究が強力なベースラインとして機能し,ブラックボックスLSMの信頼性を引き出すための洞察を与えることができると考えている。

関連論文リスト

Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文参考訳（メタデータ） (2024-07-15T23:41:11Z)
Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文参考訳（メタデータ） (2024-06-11T08:38:13Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Can We Trust LLMs? Mitigate Overconfidence Bias in LLMs through Knowledge Transfer [7.677725180686651]
この研究は、LLMの信頼性を改善するために、過信バイアスを軽減することを検討する。そこで我々は,「大きな」LLMが,詳細かつシーケンシャルな推論経路を通じて,「小さな」LLMに知識を与えるような,思考の連鎖を利用した知識伝達(KT)手法を提案する。この方法は、より大規模なモデルの高度な推論を使用して、より小さなモデルを微調整し、より正確な予測をキャリブレーションされた信頼性で作成することができる。
論文参考訳（メタデータ） (2024-05-27T06:06:36Z)
Enhancing Confidence Expression in Large Language Models Through Learning from Past Experience [41.06726400259579]
大規模言語モデル(LLM)は、様々な下流タスクで顕著なパフォーマンスを示している。信頼表現能力を高めるために,過去の経験から学習する方法(LePe)を提案する。
論文参考訳（メタデータ） (2024-04-16T06:47:49Z)
Evaluation and Improvement of Fault Detection for Large Language Models [30.760472387136954]
本稿では,大規模言語モデル(LLM)における既存の故障検出手法の有効性について検討する。既存の手法の故障検出能力を高めるために, textbfMutation による予測を行う textbfConfidence textbfSmoothing フレームワーク textbfMuCS を提案する。
論文参考訳（メタデータ） (2024-04-14T07:06:12Z)
Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
論文参考訳（メタデータ） (2024-03-09T17:46:24Z)
FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
論文参考訳（メタデータ） (2024-02-29T21:05:37Z)
Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文参考訳（メタデータ） (2024-02-27T01:37:23Z)
Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness [16.35655151252159]
本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
論文参考訳（メタデータ） (2023-08-30T17:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。