論文の概要: Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results

• arxiv url: http://arxiv.org/abs/2504.13677v2
• Date: Wed, 04 Jun 2025 15:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 16:24:48.9716
• Title: Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results
• Title（参考訳）: 言語モデルにおける不確実性定量化評価の再検討:応答長バイアス結果との鮮明な相互作用
• Authors: Andrea Santilli, Adam Golinski, Michael Kirchhof, Federico Danieli, Arno Blaas, Miao Xiong, Luca Zappella, Sinead Williamson,
• Abstract要約: 評価では、AUROCのようなメトリクスを使って、UQメソッドがタスクの正しさ関数とどのように相関しているかを評価する。 その結果,UQ法と正当性関数の双方が同一の因子に偏りがある場合,相互バイアスがシステム的に歪曲することがわかった。 LM-as-a-judge法は最短長バイアスであり,より公平なUQ評価の道筋を提供する。
• 参考スコア（独自算出の注目度）: 10.551985027162576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty Quantification (UQ) in Language Models (LMs) is key to improving their safety and reliability. Evaluations often use metrics like AUROC to assess how well UQ methods (e.g., negative sequence probabilities) correlate with task correctness functions (e.g., ROUGE-L). We show that mutual biases--when both UQ methods and correctness functions are biased by the same factors--systematically distort evaluation. First, we formally prove that any mutual bias non-randomly skews AUROC rankings, compromising benchmark integrity. Second, we confirm this happens empirically by testing 7 widely used correctness functions, from lexical-based and embedding-based metrics to LM-as-a-judge approaches, across 4 datasets x 4 models x 8 UQ methods. Our analysis shows that length biases in correctness functions distort UQ assessments by interacting with length biases in UQ methods. We identify LM-as-a-judge methods as the least length-biased, offering a promising path for a fairer UQ evaluation.
• Abstract（参考訳）: 言語モデル(LM)における不確実性定量化(UQ)は、安全性と信頼性を向上させる鍵となる。 評価は、AUROCのようなメトリクスを使って、UQメソッド(例えば、負のシーケンス確率)がタスクの正しさ関数(例えば、ROUGE-L)とどのように相関しているかを評価する。 その結果,UQ法と正当性関数の双方が同一の因子に偏りがある場合,相互バイアスがシステム的に歪曲することがわかった。 まず、相互バイアスがAUROCランキングを非ランダムに歪め、ベンチマークの整合性を損なうことを正式に証明する。 第2に、4つのデータセット x 4 モデル x 8 UQ メソッドにまたがって、語彙ベースのメトリクスや埋め込みベースのメトリクスから LM-as-a-judge アプローチまで、広く使用されている7つの正当性関数をテストすることでこれを実証的に確認する。 本分析は,UQ法における長さバイアスと相互作用することで,UQ評価を歪曲することを示す。 LM-as-a-judge法は最短長バイアスであり,より公平なUQ評価の道筋を提供する。

関連論文リスト

• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)を評価するために最も広く使われているタスクの1つは、Multiple-Choice Question Answering (MCQA)である。 本研究は,MCQA評価戦略の不整合を軽視し,不正確かつ誤ったモデル比較に繋がる可能性がある。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought [10.166370877826486]
  大規模言語モデル(LLM)は多くのタスクで優れるが、生成された応答の不確かさを正確に定量化するのに苦労する。 LLMの既存の不確実性定量化(UQ)法は、主に応答性よりも即時的であり、高い計算コストを発生させる。 応答型UQフレームワークであるCoT-UQを提案する。このフレームワークは,Chain-of-Thought (CoT) を通じて LLM 固有の推論機能を UQ プロセスに統合する。
  論文  参考訳（メタデータ） (2025-02-24T14:48:06Z)
• Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models [76.17975723711886]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、大規模言語モデル(LLM)から真正性を求めるための顕著なアプローチである。 本研究では,テキスト生成のために,分類タスクのUQ技術であるMahalanobis Distance (MD)を適用した。 提案手法は,複数レイヤのLCMからトークン埋め込みを抽出し,各トークンのMDスコアを計算し,これらの特徴を訓練した線形回帰を用いてロバストな不確実性スコアを提供する。
  論文  参考訳（メタデータ） (2025-02-20T10:25:13Z)
• LINKAGE: Listwise Ranking among Varied-Quality References for Non-Factoid QA Evaluation via LLMs [61.57691505683534]
  非F (Non-Factoid) Question Answering (QA) は多種多様な潜在的回答と客観的基準により評価が困難である。 大規模言語モデル (LLM) は、様々なNLPタスクにおいて魅力的な性能を持つため、NFQAの評価に利用されてきた。 提案手法は,LLMを用いて基準回答のランク付けを行う新しい評価手法であるNFQAの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T06:42:21Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• LUQ: Long-text Uncertainty Quantification for LLMs [29.987010627250527]
  大規模言語モデル(LLM)は、非現実的なコンテンツを生成する傾向がある。 不確実性定量化(UQ)は、モデルの生成に対する信頼性の理解を高める上で重要である。 我々は,複数のモデルからの応答をアンサンブルし,最も低い不確実性で応答を選択するTextscLuq-Ensembleを提案する。
  論文  参考訳（メタデータ） (2024-03-29T16:49:24Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。