論文の概要: MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels

• arxiv url: http://arxiv.org/abs/2502.14268v1
• Date: Thu, 20 Feb 2025 05:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 22:18:11.520256
• Title: MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels
• Title（参考訳）: MCQA-Eval:ゴールドスタンダード補正ラベルを用いたNLGの信頼性評価
• Authors: Xiaoou Liu, Zhen Lin, Longchao Da, Chacha Chen, Shubhendu Trivedi, Hua Wei,
• Abstract要約: 大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。 McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
• 参考スコア（独自算出の注目度）: 16.300463494913593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) require robust confidence estimation, particularly in critical domains like healthcare and law where unreliable outputs can lead to significant consequences. Despite much recent work in confidence estimation, current evaluation frameworks rely on correctness functions -- various heuristics that are often noisy, expensive, and possibly introduce systematic biases. These methodological weaknesses tend to distort evaluation metrics and thus the comparative ranking of confidence measures. We introduce MCQA-Eval, an evaluation framework for assessing confidence measures in Natural Language Generation (NLG) that eliminates dependence on an explicit correctness function by leveraging gold-standard correctness labels from multiple-choice datasets. MCQA-Eval enables systematic comparison of both internal state-based white-box (e.g. logit-based) and consistency-based black-box confidence measures, providing a unified evaluation methodology across different approaches. Through extensive experiments on multiple LLMs and widely used QA datasets, we report that MCQA-Eval provides efficient and more reliable assessments of confidence estimation methods than existing approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に信頼できないアウトプットが重大な結果をもたらす医療や法のような重要な領域において、堅牢な信頼推定を必要とする。 信頼度推定に関する最近の研究にもかかわらず、現在の評価フレームワークは正当性関数に依存している。 これらの方法論的弱点は評価指標を歪ませる傾向があり、したがって信頼度の比較ランキングは低下する。 我々は,NLG(Natural Language Generation)における信頼度を評価するための評価フレームワークMCQA-Evalを紹介した。 MCQA-Evalは、内部状態ベースのホワイトボックス(例えばロジットベース)と一貫性ベースのブラックボックス信頼度の両方を体系的に比較することができ、異なるアプローチで統一的な評価手法を提供する。 複数のLLMおよび広く使用されているQAデータセットに関する広範な実験を通じて、MCQA-Evalは既存の手法よりも効率的で信頼性の高い信頼度推定手法を提供することを報告した。

関連論文リスト

• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models [0.0]
  大規模言語モデル(LLM)は、医療、法律、金融といった決定クリティカルな領域でますます使われている。 彼らはしばしば過度に自信過剰なエラーを犯し、入力シフトの下で分解し、明確な不確実性推定を欠いている。 キャリブレーション,ロバスト性,不確実性の定量化をひとつの解釈可能な指標に統合する統合フレームワークであるCRS(Composite Reliability Score)を導入する。
  論文  参考訳（メタデータ） (2025-12-30T08:07:28Z)
• Systematic Evaluation of Uncertainty Estimation Methods in Large Language Models [1.8374839804848957]
  大規模言語モデル(LLM)における信頼度推定のための4つのアプローチを評価する。 我々は,最先端のオープンソース LLM を用いた4つの質問応答実験を行った。 以上の結果から,各不確実性指標がモデル信頼性の異なる面を捉え,ハイブリッドCoCoAアプローチが全体の信頼性を最大化できることが示唆された。
  論文  参考訳（メタデータ） (2025-10-23T11:50:47Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
  本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。 CCEは同時に、予測の信頼性と不確実性を測定する。 RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
  論文  参考訳（メタデータ） (2025-09-01T03:38:38Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Overconfidence in LLM-as-a-Judge: Diagnosis and Confidence-Driven Solution [20.607071807794195]
  大規模言語モデル(LLM)は自動化された判断として広く使われており、実際的な価値は正確さと信頼性の高いリスク認識の判断の両方に依存する。 既存のアプローチは主に正確さに焦点を合わせ、よく校正された信頼の必要性を見越す。 我々は、精度中心の評価から信頼性駆動型、リスク対応型LCM-as-a-Judgeシステムへの移行を提唱する。
  論文  参考訳（メタデータ） (2025-08-08T11:11:22Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• ConfProBench: A Confidence Evaluation Benchmark for MLLM-Based Process Judges [15.47711837051754]
  プロプライエタリモデルとオープンソースモデルの両方を含む14の最先端MLLMを評価した。 我々は,MPJが生成するステップレベルの信頼度スコアの信頼性を体系的に評価する,最初の総合ベンチマークであるConfProBenchを提案する。
  論文  参考訳（メタデータ） (2025-08-06T16:00:19Z)
• A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
  大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。 本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。 3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
  論文  参考訳（メタデータ） (2025-08-01T12:58:34Z)
• Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs [7.197702136906138]
  モデルフェアネスのきめ細かい評価を可能にするため,不確実性を考慮した評価基準であるUCerFを提案する。 現在のデータセットにおけるデータサイズ、多様性、明快さの問題を観察し、新しいジェンダー占有公正度評価データセットを導入する。 我々は、メトリックとデータセットを使用してベンチマークを確立し、それを10のオープンソースAIシステムの動作評価に適用する。
  論文  参考訳（メタデータ） (2025-05-29T20:45:18Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation [8.635811152610604]
  不確実性定量化(UQ)は、AIシステムの安全性と堅牢性を保証するために不可欠である。 サンプルとラベルソース間の分岐に基づくラベル信頼度(LCA)の不確実性評価を提案する。
  論文  参考訳（メタデータ） (2024-12-10T07:35:23Z)
• Black-box Uncertainty Quantification Method for LLM-as-a-Judge [13.45579129351493]
  LLM-as-a-Judge評価の信頼性を高めるために設計された不確実性を定量化する新しい手法を提案する。 生成された評価と可能な評価の関係を分析して不確実性を定量化する。 これらの関係を相互に評価し、トークン確率に基づく混乱行列を構築することにより、高いあるいは低い不確実性のラベルを導出する。
  論文  参考訳（メタデータ） (2024-10-15T13:29:22Z)
• Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
  大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。 オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。 以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-15T06:44:26Z)
• How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
  大規模言語モデル (LLM) は知識ベース (KB) として研究されている。 現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。 我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• FreeEval: A Modular Framework for Trustworthy and Efficient Evaluation of Large Language Models [36.273451767886726]
  FreeEvalは、大規模言語モデルの信頼性と効率的な自動評価を可能にするために設計された、モジュール化されたスケーラブルなフレームワークである。 FreeEvalの統一された抽象化は、統合を単純化し、多様な評価方法論の透明性を改善します。 このフレームワークは、人間の評価やデータ汚染検出などのメタ評価技術を統合し、動的評価モジュールとともに、評価結果の公平性を高める。
  論文  参考訳（メタデータ） (2024-04-09T04:17:51Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。