論文の概要: Quantifying Uncertainty in Natural Language Explanations of Large Language Models for Question Answering

• arxiv url: http://arxiv.org/abs/2509.15403v1
• Date: Thu, 18 Sep 2025 20:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.892901
• Title: Quantifying Uncertainty in Natural Language Explanations of Large Language Models for Question Answering
• Title（参考訳）: 質問応答のための大規模言語モデルの自然言語説明の不確かさの定量化
• Authors: Yangyi Li, Mengdi Huai,
• Abstract要約: 大規模言語モデル(LLM)は、質問応答タスクにおいて簡潔でコンテキスト対応の回答を可能にする強力な能力を示している。 本稿では、これらの生成した自然言語説明のための新しい不確実性推定フレームワークを提案する。 また、ノイズ下においても確実な不確実性を保証する新しい確実性推定法を設計する。
• 参考スコア（独自算出の注目度）: 19.882022420045804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown strong capabilities, enabling concise, context-aware answers in question answering (QA) tasks. The lack of transparency in complex LLMs has inspired extensive research aimed at developing methods to explain large language behaviors. Among existing explanation methods, natural language explanations stand out due to their ability to explain LLMs in a self-explanatory manner and enable the understanding of model behaviors even when the models are closed-source. However, despite these promising advancements, there is no existing work studying how to provide valid uncertainty guarantees for these generated natural language explanations. Such uncertainty quantification is critical in understanding the confidence behind these explanations. Notably, generating valid uncertainty estimates for natural language explanations is particularly challenging due to the auto-regressive generation process of LLMs and the presence of noise in medical inquiries. To bridge this gap, in this work, we first propose a novel uncertainty estimation framework for these generated natural language explanations, which provides valid uncertainty guarantees in a post-hoc and model-agnostic manner. Additionally, we also design a novel robust uncertainty estimation method that maintains valid uncertainty guarantees even under noise. Extensive experiments on QA tasks demonstrate the desired performance of our methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、質問応答(QA)タスクにおいて、簡潔でコンテキスト対応の回答を可能にする強力な能力を示している。 複雑なLLMにおける透明性の欠如は、大きな言語行動を説明する方法の開発を目的とした広範な研究にインスピレーションを与えている。 既存の説明手法の中で、LLMを自己説明的に説明し、モデルがクローズドソースである場合でもモデル動作の理解を可能にするために、自然言語の説明が際立っている。 しかし、これらの有望な進歩にもかかわらず、これらの生成した自然言語の説明に対して有効な不確実性を保証する方法を研究する研究は存在しない。 このような不確実な定量化は、これらの説明の背後にある自信を理解する上で重要である。 特に, LLMの自己回帰生成過程と医学的調査におけるノイズの存在により, 自然言語説明の不確実性の推定が特に困難である。 このギャップを埋めるために、本稿では、まずこれらの生成した自然言語説明のための新しい不確実性推定フレームワークを提案し、これはポストホックかつモデルに依存しない方法で有効な不確実性保証を提供する。 さらに,ノイズ下においても確実な不確実性を保証する新しい確実性推定法も設計する。 QAタスクに関する大規模な実験は、我々の方法の望ましい性能を示す。

関連論文リスト

• Enhancing Trust in Large Language Models with Uncertainty-Aware Fine-Tuning [10.457661605916435]
  大規模言語モデル(LLM)は、その印象的な推論と質問応答能力によって自然言語処理の分野に革命をもたらした。 LLMは時に、幻覚として知られる、信頼できるが誤った情報を生成する傾向にある。 本稿では,決定論の原理に基づく不確実性を考慮した因果的言語モデリング損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-03T23:14:47Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantifying Uncertainty in Natural Language Explanations of Large Language Models [29.34960984639281]
  大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。 生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。 ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
  論文  参考訳（メタデータ） (2023-11-06T21:14:40Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。