論文の概要: Examining LLMs' Uncertainty Expression Towards Questions Outside
Parametric Knowledge
- arxiv url: http://arxiv.org/abs/2311.09731v2
- Date: Fri, 16 Feb 2024 17:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:57:25.645900
- Title: Examining LLMs' Uncertainty Expression Towards Questions Outside
Parametric Knowledge
- Title(参考訳): LLMの不確かさ表現の検討 : パラメトリック知識以外での疑問
- Authors: Genglin Liu, Xingyao Wang, Lifan Yuan, Yangyi Chen, Hao Peng
- Abstract要約: 大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。
本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
- 参考スコア(独自算出の注目度): 35.067234242461545
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Can large language models (LLMs) express their uncertainty in situations
where they lack sufficient parametric knowledge to generate reasonable
responses? This work aims to systematically investigate LLMs' behaviors in such
situations, emphasizing the trade-off between honesty and helpfulness. To
tackle the challenge of precisely determining LLMs' knowledge gaps, we
diagnostically create unanswerable questions containing non-existent concepts
or false premises, ensuring that they are outside the LLMs' vast training data.
By compiling a benchmark, UnknownBench, which consists of both unanswerable and
answerable questions, we quantitatively evaluate the LLMs' performance in
maintaining honesty while being helpful. Using a model-agnostic unified
confidence elicitation approach, we observe that most LLMs fail to consistently
refuse or express uncertainty towards questions outside their parametric
knowledge, although instruction fine-tuning and alignment techniques can
provide marginal enhancements. Moreover, LLMs' uncertainty expression does not
always stay consistent with the perceived confidence of their textual outputs.
- Abstract(参考訳): 大きな言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において、不確実性を表現できるだろうか?
本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
LLMの知識ギャップを正確に決定する課題に対処するため、既存の概念や偽の前提を含む疑問を診断的に生成し、LLMの膨大なトレーニングデータの外にあることを保証する。
解答不可能な質問と解答可能な質問の両方からなるベンチマークであるUnknownBenchをコンパイルすることにより、LCMのパフォーマンスを定量的に評価し、誠実さを維持しながら有効であることを示す。
モデルに依存しない統一的信頼抽出手法を用いることで、ほとんどのLCMはパラメトリック知識以外の問題に対して一貫して拒否あるいは不確実性を表現できないが、命令の微調整とアライメント技術は限界的な改善をもたらす。
さらに、LLMの不確実性表現は、テキスト出力の認識された信頼と常に一致しない。
関連論文リスト
- KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Benchmarking LLMs via Uncertainty Quantification [95.67653501674995]
我々は,Large Language Models (LLM) のための新しいベンチマーク手法を導入する。
本試験では,5つの自然言語処理タスクにまたがる8つのLLMについて検討した。
予測精度と予測不確実性の両方を考慮して,不確実性を考慮した評価指標UAccを導入する。
論文 参考訳(メタデータ) (2024-01-23T14:29:17Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Quantifying Uncertainty in Natural Language Explanations of Large
Language Models [29.34960984639281]
大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。
生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。
ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
論文 参考訳(メタデータ) (2023-11-06T21:14:40Z) - Learn to Refuse: Making Large Language Models More Controllable and
Reliable through Knowledge Scope Limitation and Refusal Mechanism [0.0]
大規模言語モデル(LLM)は印象的な言語理解と生成能力を示している。
これらのモデルは欠陥がなく、しばしばエラーや誤報を含む応答を生成する。
本稿では,LLMに対して,誤りを避けるために,難解な質問への回答を拒否するように指示する拒絶機構を提案する。
論文 参考訳(メタデータ) (2023-11-02T07:20:49Z) - Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection
Method [37.61193254658253]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。
近年の文献では、LLMは断続的に非実効応答を生成する。
本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-27T06:22:14Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of
Confidence Elicitation in LLMs [45.66518090353208]
本稿では,モデル微調整やプロプライエタリ情報へのアクセスを必要としない信頼性評価手法について検討する。
本稿では,言語化に基づく手法,一貫性に基づく手法,およびベンチマークのためのハイブリッド手法の3つのカテゴリを紹介する。
これらの手法を解析した結果,いくつかの重要な知見が得られた。
論文 参考訳(メタデータ) (2023-06-22T17:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。