論文の概要: To Believe or Not to Believe Your LLM

• arxiv url: http://arxiv.org/abs/2406.02543v2
• Date: Wed, 17 Jul 2024 15:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 21:47:53.665366
• Title: To Believe or Not to Believe Your LLM
• Title（参考訳）: LLMを信じるか信じないか
• Authors: Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári,
• Abstract要約: 大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
• 参考スコア（独自算出の注目度）: 51.2579827761899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore uncertainty quantification in large language models (LLMs), with the goal to identify when uncertainty in responses given a query is large. We simultaneously consider both epistemic and aleatoric uncertainties, where the former comes from the lack of knowledge about the ground truth (such as about facts or the language), and the latter comes from irreducible randomness (such as multiple possible answers). In particular, we derive an information-theoretic metric that allows to reliably detect when only epistemic uncertainty is large, in which case the output of the model is unreliable. This condition can be computed based solely on the output of the model obtained simply by some special iterative prompting based on the previous responses. Such quantification, for instance, allows to detect hallucinations (cases when epistemic uncertainty is high) in both single- and multi-answer responses. This is in contrast to many standard uncertainty quantification strategies (such as thresholding the log-likelihood of a response) where hallucinations in the multi-answer case cannot be detected. We conduct a series of experiments which demonstrate the advantage of our formulation. Further, our investigations shed some light on how the probabilities assigned to a given output by an LLM can be amplified by iterative prompting, which might be of independent interest.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)における不確実性定量化について検討する。 前者は基礎的真理(事実や言語など)に関する知識の欠如から、後者は既約無作為性(複数の可能な答えなど)から来ている。 特に、疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論メトリクスを導出し、その場合、モデルの出力は信頼できない。 この条件は、単に前の応答に基づいた特別な反復的プロンプトによって得られたモデルの出力のみに基づいて計算することができる。 このような定量化は、例えば、単一応答と複数応答の両方において幻覚(てんかんの不確かさが高い場合)を検出することができる。 これは、マルチ・アンサー・ケースにおける幻覚を検出できない多くの標準的な不確実性定量化戦略(応答の対数のようなしきい値の閾値付けなど)とは対照的である。 定式化の利点を実証する一連の実験を行う。 さらに,本研究は, LLMによって与えられた出力に割り当てられる確率が, 独立性のある反復的プロンプトによって増幅される可能性について, 若干の光を当てた。

関連論文リスト

• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点からこれらの課題に対処する。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 提案手法はブラックボックス言語モデルに適用できる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Postselection-free learning of measurement-induced quantum dynamics [0.0]
  状態の計測後のアンサンブルの性質を推測するために,汎用的なスキームを導入する。 即時的な応用として,実験における量子状態設計の出現を検証するために本手法が有用であることを示す。
  論文  参考訳（メタデータ） (2023-10-06T11:06:06Z)
• Exploiting Independent Instruments: Identification and Distribution Generalization [3.701112941066256]
  我々は、より高い瞬間を考慮に入れ、分布一般化の独立性を利用する。 提案した推定器は楽器の分布シフトに不変であることを示す。 これらの結果は、楽器が因果関数を識別するのに十分な豊かでない場合においても成り立つ。
  論文  参考訳（メタデータ） (2022-02-03T21:49:04Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。