論文の概要: Addressing Pitfalls in the Evaluation of Uncertainty Estimation Methods for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2510.02279v1
• Date: Thu, 02 Oct 2025 17:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.273025
• Title: Addressing Pitfalls in the Evaluation of Uncertainty Estimation Methods for Natural Language Generation
• Title（参考訳）: 自然言語生成の不確かさ推定手法の評価における落とし穴の対応
• Authors: Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter,
• Abstract要約: 幻覚は、大きな言語モデル(LLM)の信頼性を損なう一般的な問題である。 近年の研究では、LLMの予測的不確実性によって生じる幻覚のサブセット、すなわち confabulations が特定されている。 衝突を検出するため,自然言語生成における予測不確かさを推定する様々な手法が開発されている。
• 参考スコア（独自算出の注目度）: 20.726685669562496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations are a common issue that undermine the reliability of large language models (LLMs). Recent studies have identified a specific subset of hallucinations, known as confabulations, which arise due to predictive uncertainty of LLMs. To detect confabulations, various methods for estimating predictive uncertainty in natural language generation (NLG) have been developed. These methods are typically evaluated by correlating uncertainty estimates with the correctness of generated text, with question-answering (QA) datasets serving as the standard benchmark. However, commonly used approximate correctness functions have substantial disagreement between each other and, consequently, in the ranking of the uncertainty estimation methods. This allows one to inflate the apparent performance of uncertainty estimation methods. We propose using several alternative risk indicators for risk correlation experiments that improve robustness of empirical assessment of UE algorithms for NLG. For QA tasks, we show that marginalizing over multiple LLM-as-a-judge variants leads to reducing the evaluation biases. Furthermore, we explore structured tasks as well as out of distribution and perturbation detection tasks which provide robust and controllable risk indicators. Finally, we propose to use an Elo rating of uncertainty estimation methods to give an objective summarization over extensive evaluation settings.
• Abstract（参考訳）: 幻覚は大きな言語モデル(LLM)の信頼性を損なう一般的な問題である。 近年の研究では、LSMの予測的不確実性によって生じる幻覚の特定のサブセット、すなわち confabulations が特定されている。 衝突を検出するため,自然言語生成における予測不確かさを推定する様々な手法が開発されている。 これらの手法は典型的には、不確実性推定と生成されたテキストの正しさを関連付けて評価され、QAデータセットが標準ベンチマークとして機能する。 しかし、一般的に用いられる近似正当性関数は互いに大きく相違し、したがって不確実性推定法のランク付けにおいて重要な相違がある。 これにより、不確実性推定法の明らかな性能を向上することができる。 NLGにおけるUEアルゴリズムの実証的評価の堅牢性を改善するためのリスク相関実験に,いくつかの代替リスク指標を提案する。 QA タスクでは,複数の LLM-as-a-judge 変種に対する残差化が評価バイアスの低減につながることを示す。 さらに,ロバストかつ制御可能なリスク指標を提供する分散および摂動検出タスクだけでなく,構造化タスクについても検討する。 最後に,不確実性評価手法のエロ評価を用いて,広範囲な評価設定に対する客観的な要約を提案する。

関連論文リスト

• TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
  token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。 TokURは、大規模言語モデルにおいて、数学的推論における応答を自己評価し、自己改善することを可能にする。 様々な難易度を持つ数学的推論データセットの実験により、TokURは答えの正しさとモデルロバストネスと強い相関を示すことが示された。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation [5.355925496689674]
  私たちは、異なる予測の不確実性対策を作成できるフレームワークを構築します。 本手法は,分布外および誤分類インスタンスの検出において,その性能を評価することにより,画像データセット上での検証を行う。
  論文  参考訳（メタデータ） (2024-02-16T14:40:22Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。