論文の概要: The Calibration Gap between Model and Human Confidence in Large Language
Models
- arxiv url: http://arxiv.org/abs/2401.13835v1
- Date: Wed, 24 Jan 2024 22:21:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 16:08:37.529331
- Title: The Calibration Gap between Model and Human Confidence in Large Language
Models
- Title(参考訳): 大規模言語モデルにおけるモデルと人間の自信のキャリブレーションギャップ
- Authors: Mark Steyvers, Heliodoro Tejeda, Aakriti Kumar, Catarina Belem, Sheer
Karny, Xinyue Hu, Lukas Mayer, Padhraic Smyth
- Abstract要約: 大規模言語モデル(LLM)は、その予測がどの程度正確であるかを正確に評価し、伝達できるという意味で、十分に校正される必要がある。
最近の研究は、内部LCMの信頼性評価の品質に焦点を当てている。
本稿では,LLMの応答における外部人間の信頼度とモデルの内部信頼度との相違について検討する。
- 参考スコア(独自算出の注目度): 14.539888672603743
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: For large language models (LLMs) to be trusted by humans they need to be
well-calibrated in the sense that they can accurately assess and communicate
how likely it is that their predictions are correct. Recent work has focused on
the quality of internal LLM confidence assessments, but the question remains of
how well LLMs can communicate this internal model confidence to human users.
This paper explores the disparity between external human confidence in an LLM's
responses and the internal confidence of the model. Through experiments
involving multiple-choice questions, we systematically examine human users'
ability to discern the reliability of LLM outputs. Our study focuses on two key
areas: (1) assessing users' perception of true LLM confidence and (2)
investigating the impact of tailored explanations on this perception. The
research highlights that default explanations from LLMs often lead to user
overestimation of both the model's confidence and its' accuracy. By modifying
the explanations to more accurately reflect the LLM's internal confidence, we
observe a significant shift in user perception, aligning it more closely with
the model's actual confidence levels. This adjustment in explanatory approach
demonstrates potential for enhancing user trust and accuracy in assessing LLM
outputs. The findings underscore the importance of transparent communication of
confidence levels in LLMs, particularly in high-stakes applications where
understanding the reliability of AI-generated information is essential.
- Abstract(参考訳): 大型言語モデル(LLM)が人間に信頼されるためには、その予測が正しいかどうかを正確に評価し、伝達できるという意味で、十分な校正が必要である。
最近の研究は内部LCMの信頼性評価の品質に焦点が当てられているが、LLMが内部モデルの信頼性をいかに人間に伝達できるかについては疑問が残る。
本稿では、LCMの応答における外部人間の信頼とモデルの内部信頼の相違について考察する。
複数選択質問を含む実験を通じて,LLM出力の信頼性を識別する人間の能力を体系的に検証した。
本研究は,(1)利用者のLDM信頼感の評価と,(2)調整された説明が認知に与える影響について検討する。
この研究は、LLMのデフォルトの説明は、しばしばモデルの信頼性と精度の両方をユーザーの過大評価に導くことを強調している。
LLMの内部信頼度をより正確に反映するように説明を変更することで、ユーザ認識の大幅な変化を観察し、モデルの実際の信頼度とより密に調整する。
この説明的アプローチによる調整は、LCM出力を評価する際のユーザ信頼と精度を高める可能性を示している。
この知見は、特にAI生成情報の信頼性の理解が不可欠である高精度なアプリケーションにおいて、LLMにおける信頼性レベルの透過的なコミュニケーションの重要性を強調している。
関連論文リスト
- Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Fact-and-Reflection (FaR) Improves Confidence Calibration of Large
Language Models [89.20169610517381]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳(メタデータ) (2024-02-27T01:37:23Z) - Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of
Large Language Models [24.60203307672918]
大規模言語モデル(LLM)は、自己訂正能力への関心が高まっている。
本稿では,LLMの内在的自己補正に関する包括的研究について述べる。
We developed a "If-or-Else" prompting framework, designed to guide LLMs in evaluation of their "confidence"。
論文 参考訳(メタデータ) (2024-02-19T21:38:02Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [64.14848764079503]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳(メタデータ) (2024-02-19T21:12:14Z) - Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via
Self-Evaluation [75.01017649868614]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。
我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。
提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-02-14T15:52:42Z) - Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for
Hallucination Mitigation [9.730412606588335]
我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。
本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-27T16:19:30Z) - TrustLLM: Trustworthiness in Large Language Models [446.5220130390284]
本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。
まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。
これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
論文 参考訳(メタデータ) (2024-01-10T22:07:21Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - The Confidence-Competence Gap in Large Language Models: A Cognitive
Study [3.757390057317548]
大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。
我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。
この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
論文 参考訳(メタデータ) (2023-09-28T03:50:09Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of
Confidence Elicitation in LLMs [45.66518090353208]
本稿では,モデル微調整やプロプライエタリ情報へのアクセスを必要としない信頼性評価手法について検討する。
本稿では,言語化に基づく手法,一貫性に基づく手法,およびベンチマークのためのハイブリッド手法の3つのカテゴリを紹介する。
これらの手法を解析した結果,いくつかの重要な知見が得られた。
論文 参考訳(メタデータ) (2023-06-22T17:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。