論文の概要: Which Metrics Save the Most Human Annotation? Prediction-Powered Evaluation and Meta-Evaluation

• arxiv url: http://arxiv.org/abs/2608.26638v2
• Date: Sun, 30 Aug 2026 04:20:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 13:34:07.719968
• Title: Which Metrics Save the Most Human Annotation? Prediction-Powered Evaluation and Meta-Evaluation
• Title（参考訳）: 最も人間のアノテーションを節約したメトリクスは? 予測による評価とメタ評価
• Authors: Mingqi Gao, Anthony Sicilia, Weiyan Shi,
• Abstract要約: 予測による評価は、限られた人間の判断と大規模な自動スコアを組み合わせることで、データ効率のよいシステム比較を得る。 本稿では,自動計測による人間のアノテーションの保存量を測定するメタメトリックである予測パワーセーブ比(PPSR)を紹介する。 我々の新しいパラダイムは、人間の判断を置き換えるのではなく、人間のアノテーションコストを削減するツールとして自動メトリクスを再設定し、検証不可能なタスクに広く適用します。
• 参考スコア（独自算出の注目度）: 24.556508865021566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Across various non-verifiable tasks, human evaluation is reliable but expensive, while automatic metrics are more scalable but often biased. Building on prediction-powered inference (PPI), we propose prediction-powered evaluation, a framework that combines limited human judgments with large-scale automatic scores to obtain data-efficient system comparisons that are provably unbiased. We develop parametric and non-parametric procedures, analyze the efficiency trade-off between paired and unpaired designs, and validate the framework on six WMT datasets. We further introduce the Prediction-Powered Saving Ratio (PPSR), a meta-metric that measures how much human annotation an automatic metric can save when used within prediction-powered evaluation. PPSR directly targets metric utility for prediction-powered evaluation and yields more discriminative and stable metric rankings than existing system-level meta-metrics. Overall, our new paradigm reframes automatic metrics as tools for reducing human annotation cost rather than replacing human judgment, and applies broadly to non-verifiable tasks.
• Abstract（参考訳）: さまざまな検証不可能なタスクの中で、人間の評価は信頼性が高いが高価である一方、自動メトリクスはよりスケーラブルだが、しばしばバイアスがかかる。 予測に基づく推論(PPI)に基づいて,限定的な人的判断と大規模自動スコアを組み合わせた予測による評価手法を提案する。 パラメトリックおよび非パラメトリックな手法を開発し、ペア設計とアンペア設計の効率トレードオフを分析し、6つのWMTデータセット上でフレームワークの有効性を検証する。 さらに,予測パワー・セーブ比 (PPSR) についても紹介する。このメタメトリックは,予測パワー評価で使用すると,自動計測値がどれだけ人間のアノテーションを節約できるかを計測する。 PPSRは、予測を利用した評価のためのメートル法ユーティリティを直接ターゲットとし、既存のシステムレベルのメタメトリックよりも差別的で安定したメートル法ランキングを得る。 我々の新しいパラダイムは、人間の判断を置き換えるのではなく、人間のアノテーションコストを削減するツールとして自動メトリクスを再設定し、検証不可能なタスクに広く適用します。

関連論文リスト

• AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators [57.003100107659684]
  AutoMetricsは、低データ制約下で評価メトリクスを合成するためのフレームワークである。 AutoMetricsは、同等の効果を検証可能な報酬として、プロキシ報酬として使用できることを示す。
  論文  参考訳（メタデータ） (2025-12-19T06:32:46Z)
• Improving Statistical Significance in Human Evaluation of Automatic Metrics via Soft Pairwise Accuracy [10.487125740432681]
  Pairwise Accuracy(PA)に基づく新しいメタメトリックを提案する。 評価に用いるシステム/セグメント数の変化に対して,SPAはPAよりも安定であることを示す。 SPAは2024 WMT Metrics Shared Taskの公式なシステムレベルメトリクスに選ばれた。
  論文  参考訳（メタデータ） (2024-09-15T03:25:55Z)
• Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
  マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価 余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。 本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
  論文  参考訳（メタデータ） (2023-05-10T16:27:55Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
  ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。 古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
  論文  参考訳（メタデータ） (2022-08-31T01:13:46Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• The statistical advantage of automatic NLG metrics at the system level [23.12467573182206]
  統計的には、人間は偏りがなく、高分散推定器であり、メトリクスは偏りがあり、低分散推定器である。 ブートストラップを用いて、これらの推定器の誤差をペアワイズ予測(どの生成システムが優れているか?)で比較する。 分析では,測定値の補正誤差を人間と完全セグメントレベルのアノテータと比較した。
  論文  参考訳（メタデータ） (2021-05-26T09:53:57Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。