論文の概要: Can LLMs Express Their Uncertainty? An Empirical Evaluation of
Confidence Elicitation in LLMs
- arxiv url: http://arxiv.org/abs/2306.13063v1
- Date: Thu, 22 Jun 2023 17:31:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 13:27:42.272111
- Title: Can LLMs Express Their Uncertainty? An Empirical Evaluation of
Confidence Elicitation in LLMs
- Title（参考訳）: LLMは不確かさを表現できるのか?
LLMにおける信頼緩和の実証評価
- Authors: Miao Xiong, Zhiyuan Hu, Xinyang Lu, Yifei Li, Jie Fu, Junxian He,
Bryan Hooi
- Abstract要約: 本稿では,モデル微調整やプロプライエタリ情報へのアクセスを必要としない信頼性評価手法について検討する。
本稿では,言語化に基づく手法,一貫性に基づく手法,およびベンチマークのためのハイブリッド手法の3つのカテゴリを紹介する。
これらの手法を解析した結果,いくつかの重要な知見が得られた。
- 参考スコア（独自算出の注目度）: 45.66518090353208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of empowering large language models (LLMs) to accurately express
their confidence, referred to as confidence elicitation, is essential in
ensuring reliable and trustworthy decision-making processes. Previous methods,
which primarily rely on model logits, have become less suitable for LLMs and
even infeasible with the rise of closed-source LLMs (e.g., commercialized LLM
APIs). This leads to a growing need to explore the untapped area of
\emph{non-logit-based} approaches to estimate the uncertainty of LLMs. Hence,
in this study, we investigate approaches for confidence elicitation that do not
require model fine-tuning or access to proprietary information. We introduce
three categories of methods: verbalize-based, consistency-based, and their
hybrid methods for benchmarking, and evaluate their performance across five
types of datasets and four widely-used LLMs. Our analysis of these methods
uncovers several key insights: 1) LLMs often exhibit a high degree of
overconfidence when verbalizing their confidence; 2) Prompting strategies such
as CoT, Top-K and Multi-step confidences improve calibration of verbalized
confidence; 3) Consistency-based methods outperform the verbalized confidences
in most cases, with particularly notable improvements on the arithmetic
reasoning task; 4) Hybrid methods consistently deliver the best performance
over their baselines, thereby emerging as a promising state-of-the-art
approach; 5) Despite these advancements, all investigated methods continue to
struggle with challenging tasks, such as those requiring professional
knowledge, leaving significant scope for improvement of confidence elicitation.
- Abstract（参考訳）: 大きな言語モデル(LLM)の信頼性を正確に表現するためのタスクは、信頼性と信頼性の高い意思決定プロセスを保証する上で不可欠である。
従来の手法は主にモデルロジットに依存していたが、LLMには適せず、クローズドソースのLLM(例えば商用のLLM API)の登場で実現不可能になった。
これにより、llmの不確かさを推定するための\emph{non-logit-based} アプローチの未解決領域を探索する必要性が高まる。
そこで本研究では,モデル微調整やプロプライエタリ情報へのアクセスを必要としない信頼性評価手法について検討する。
本稿では,5種類のデータセットと4種類の LLM を対象とし,言語化ベース,一貫性ベース,およびそれらのハイブリッドなベンチマーク手法の3つのカテゴリを紹介した。
これらの手法の分析によって、いくつかの重要な知見が明らかになる。
1) LLMは,その信頼を言葉で表す際に,高い自信を示すことが多い。
2) cot, top-k, multi-step confidences などの戦略の推進は,言語化された信頼のキャリブレーションを改善する。
3) 一貫性に基づく手法は,ほとんどの場合,特に算術的推論タスクにおいて,言語化された信頼度よりも優れる。
4) ハイブリッド手法は,ベースラインに対して一貫して最高のパフォーマンスを提供するため,有望な最先端アプローチとして出現する。
5) これらの進歩にもかかわらず, 全ての調査手法は, 専門家の知識を必要とするような課題に苦慮し, 信頼性向上のかなりの範囲を残している。
関連論文リスト
- Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。
我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。
21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文 参考訳（メタデータ） (2024-06-11T08:38:13Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Can We Trust LLMs? Mitigate Overconfidence Bias in LLMs through Knowledge Transfer [7.677725180686651]
この研究は、LLMの信頼性を改善するために、過信バイアスを軽減することを検討する。
そこで我々は,「大きな」LLMが,詳細かつシーケンシャルな推論経路を通じて,「小さな」LLMに知識を与えるような,思考の連鎖を利用した知識伝達(KT)手法を提案する。
この方法は、より大規模なモデルの高度な推論を使用して、より小さなモデルを微調整し、より正確な予測をキャリブレーションされた信頼性で作成することができる。
論文 参考訳（メタデータ） (2024-05-27T06:06:36Z) - Enhancing Confidence Expression in Large Language Models Through Learning from Past Experience [41.06726400259579]
大規模言語モデル(LLM)は、様々な下流タスクで顕著なパフォーマンスを示している。
信頼表現能力を高めるために,過去の経験から学習する方法(LePe)を提案する。
論文 参考訳（メタデータ） (2024-04-16T06:47:49Z) - Evaluation and Improvement of Fault Detection for Large Language Models [30.760472387136954]
本稿では,大規模言語モデル(LLM)における既存の故障検出手法の有効性について検討する。
既存の手法の故障検出能力を高めるために, textbfMutation による予測を行う textbfConfidence textbfSmoothing フレームワーク textbfMuCS を提案する。
論文 参考訳（メタデータ） (2024-04-14T07:06:12Z) - Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。
概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。
閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
論文 参考訳（メタデータ） (2024-03-09T17:46:24Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳（メタデータ） (2024-02-27T01:37:23Z) - Quantifying Uncertainty in Answers from any Language Model and Enhancing
their Trustworthiness [16.35655151252159]
本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。
我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
論文 参考訳（メタデータ） (2023-08-30T17:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。