論文の概要: Can We Trust the Judges? Validation of Factuality Evaluation Methods via Answer Perturbation

• arxiv url: http://arxiv.org/abs/2609.15561v1
• Date: Mon, 14 Sep 2026 13:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.415081
• Title: Can We Trust the Judges? Validation of Factuality Evaluation Methods via Answer Perturbation
• Title（参考訳）: 裁判官を信頼できるか? : 回答の摂動による実態評価手法の検証
• Abstract要約: 事実に基づくメトリクスの上昇にもかかわらず、その感度と信頼性は未調査のままである。 本報告では,ゴールド標準解の制御汚職を用いて,これらの指標を体系的に検証するメタ評価フレームワークを提案する。 本手法は, 測定値が真偽の変化をどのように捉えているかを調べるために, 既知の劣化度でランク付けされた出力を生成する。
• 参考スコア（独自算出の注目度）: 12.630110640940316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the factual correctness of large language models (LLMs) is vital for many applications. But are our evaluation tools themselves trustworthy? Despite the rise of factuality-based metrics, their sensitivity and reliability remain underexplored. This paper introduces a meta-evaluation framework that systematically tests these metrics using controlled corruptions of gold standard answers. Our method generates ranked outputs with known degrees of degradation to probe how metrics capture nuanced changes in truthfulness. Our experiments reveal that pipeline-based methods, such as the RAGAS's factual correctness metric, better track degradation than LLM-as-judge approaches. We also propose a new variant of the factual correctness metric that provides a competitive and cost-efficient.
• Abstract（参考訳）: 大規模言語モデル(LLM)の事実的正確性を評価することは、多くのアプリケーションにとって不可欠である。 しかし、評価ツール自体が信頼できるだろうか? 事実に基づくメトリクスの上昇にもかかわらず、その感度と信頼性は未調査のままである。 本報告では,ゴールド標準解の制御汚職を用いて,これらの指標を体系的に検証するメタ評価フレームワークを提案する。 本手法は, 測定値が真偽の変化をどのように捉えているかを調べるために, 既知の劣化度でランク付けされた出力を生成する。 実験の結果,RAGASの実測値などのパイプラインに基づく手法では,LCM-as-judge法よりもトラック劣化が良好であることが判明した。 また,競争力とコスト効率を両立させる事実正当性尺度の新たな変種を提案する。

関連論文リスト

• Towards Reliable Truth-Aligned Uncertainty Estimation in Large Language Models [54.51264434040939]
  不確実性推定(UE)は、大規模言語モデル(LLM)の幻覚出力を検出することを目的とする。 ほとんどのUEメトリクスはモデル動作に由来するので、プロキシ障害としてこの現象を定式化します。 UE測定値の補正のためのポストホックキャリブレーション法であるTrath AnChoring (TAC)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T03:42:16Z)
• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• All Claims Are Equal, but Some Claims Are More Equal Than Others: Importance-Sensitive Factuality Evaluation of LLM Generations [57.8036236269546]
  大規模言語モデル(LLM)応答の事実性を評価する既存の手法は、全ての主張を同様に重要視している。 これにより、周辺情報と同一の重みを受けるため、バイタル情報が欠落したり、誤った場合の誤判定が生じる。 質問に対するクレームの関連性と重要性を組み込むことにより,応答の事実性を測定する上で,より高感度な指標であるVITALを紹介する。
  論文  参考訳（メタデータ） (2025-10-08T14:40:33Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
  大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。 McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T05:09:29Z)
• Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation [16.506990103937515]
  私たちは、実際に取得したものを調査するために、さまざまな自動事実度メトリクスをテストすることを強調します。 すべてのメトリクスが、後者でかなりパフォーマンスが低下しているのが分かります。 一部のメトリクスは、事実の修正よりも、良心的で、事実を保存する編集に敏感である。
  論文  参考訳（メタデータ） (2024-11-25T18:15:15Z)
• Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
  大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。 本稿では,事実信頼度の推定者の調査と実証的比較について述べる。 実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T10:11:37Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。