Fugu-MT 論文翻訳(概要): Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities

論文の概要: Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities

arxiv url: http://arxiv.org/abs/2405.20003v1
Date: Thu, 30 May 2024 12:42:05 GMT
ステータス: 処理完了
システム内更新日: 2024-05-31 14:28:22.600465
Title: Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Title（参考訳）: カーネル言語エントロピー:意味的類似性からLLMの微細不確実性定量化
Authors: Alexander Nikitin, Jannik Kossen, Yarin Gal, Pekka Marttinen,
Abstract要約: 大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
参考スコア（独自算出の注目度）: 79.9629927171974
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Uncertainty quantification in Large Language Models (LLMs) is crucial for applications where safety and reliability are important. In particular, uncertainty can be used to improve the trustworthiness of LLMs by detecting factually incorrect model responses, commonly called hallucinations. Critically, one should seek to capture the model's semantic uncertainty, i.e., the uncertainty over the meanings of LLM outputs, rather than uncertainty over lexical or syntactic variations that do not affect answer correctness. To address this problem, we propose Kernel Language Entropy (KLE), a novel method for uncertainty estimation in white- and black-box LLMs. KLE defines positive semidefinite unit trace kernels to encode the semantic similarities of LLM outputs and quantifies uncertainty using the von Neumann entropy. It considers pairwise semantic dependencies between answers (or semantic clusters), providing more fine-grained uncertainty estimates than previous methods based on hard clustering of answers. We theoretically prove that KLE generalizes the previous state-of-the-art method called semantic entropy and empirically demonstrate that it improves uncertainty quantification performance across multiple natural language generation datasets and LLM architectures.
Abstract（参考訳）: 大規模言語モデル(LLM)における不確かさの定量化は、安全性と信頼性が重要であるアプリケーションには不可欠である。特に不確実性は、一般に幻覚と呼ばれる事実的不正確なモデル応答を検出することによって、LCMの信頼性を向上させるために用いられる。批判的に言えば、LLM出力の意味に対する不確実性は、答えの正しさに影響を与えない語彙や構文の変化に対する不確実性よりも、モデルの意味的不確実性(英語版)を捉えるべきである。この問題に対処するために,白と黒のLLMにおける不確実性評価手法であるカーネル言語エントロピー(KLE)を提案する。 KLEは正の半有限単位トレースカーネルを定義し、LLM出力の意味的類似性を符号化し、フォン・ノイマンエントロピーを用いて不確実性を定量化する。答え(またはセマンティッククラスタ)間のペアワイズなセマンティック依存関係を考慮し、答えのハードクラスタリングに基づく従来の方法よりもきめ細かい不確実性推定を提供する。理論的には、KLEはセマンティックエントロピー(semantic entropy)と呼ばれる従来の最先端の手法を一般化し、複数の自然言語生成データセットやLLMアーキテクチャにおける不確実性定量化性能を向上させることを実証的に証明している。

関連論文リスト

Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-30T04:41:46Z)
CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
論文参考訳（メタデータ） (2024-09-04T18:27:12Z)
Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Question Rephrasing for Quantifying Uncertainty in Large Language Models: Applications in Molecular Chemistry Tasks [4.167519875804914]
大規模言語モデル(LLM)の入力不確実性を評価するための新しい質問文記述手法を提案する。この手法はLLMの出力不確実性を測定するサンプリング手法と統合され、より包括的な不確実性評価を提供する。
論文参考訳（メタデータ） (2024-08-07T12:38:23Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。本稿では,これらの課題に対処する新しい枠組みを提案する。意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
論文参考訳（メタデータ） (2024-05-22T17:13:49Z)
Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文参考訳（メタデータ） (2024-02-15T18:46:24Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Quantifying Uncertainty in Natural Language Explanations of Large Language Models [29.34960984639281]
大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
論文参考訳（メタデータ） (2023-11-06T21:14:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。