論文の概要: Scoring Rules! Statistical and Strategic Alignment for Text Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2608.01423v1
• Date: Sun, 02 Aug 2026 18:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.224252
• Title: Scoring Rules! Statistical and Strategic Alignment for Text Evaluation Metrics
• Title（参考訳）: テキスト評価基準に対する統計的・戦略的アライメント
• Abstract要約: 評価基準の信頼性は通常、その統計的相関と人間の評価によって判断される。 メトリックは、人間の評価と相関し、タスク関連情報を付加しない摂動に抵抗するならば、統計的に一致している。 本研究では,人間の年齢相関,感度,操作堅牢性からなる基準ベースメトリクスのテスト原理を提案する。
• 参考スコア（独自算出の注目度）: 9.506308841971228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference-based text evaluation metrics, which are widely used to assess natural language generation systems, score a candidate response by comparing it with a reference response. The reliability of an evaluation metric is usually judged by its statistical correlation with human ratings. However, as these metrics are increasingly used as optimization objectives, correlation alone is no longer sufficient: agents may strategically game the evaluation metric. We study this issue through two complementary notions of alignment. A metric is statistically aligned if it correlates with human ratings and strategically aligned if it resists perturbations that do not add task-relevant information. We make two contributions. First, we propose test principles for reference-based metrics consisting of human-rating correlation, degradation sensitivity, and manipulation robustness. These principles evaluate whether a metric agrees with human judgments, penalizes low-effort information loss, and resists strategic score inflation. Second, we develop a unified design framework for mutual-information-based metrics that decomposes existing and new metrics into four choices: information measure, estimation method, text representation, and prediction mechanism. Across peer review, summarization, and question answering, we find that strong human-rating correlation does not imply strategic alignment: LLM-as-a-Judge achieves high correlation but is susceptible to manipulation. In contrast, mutual-information-based metrics substantially improve manipulation robustness. Our framework also uncovers a new metric that achieves the strongest overall robustness in our experiments while remaining competitive on human-rating correlation.
• Abstract（参考訳）: 参照ベーステキスト評価メトリクスは、自然言語生成システムの評価に広く用いられているが、参照応答と比較することで候補応答を評価する。 評価基準の信頼性は通常、その統計的相関と人間の評価によって判断される。 しかし、これらの指標が最適化の目的としてますます使われるようになったため、相関だけでは十分ではなく、エージェントは評価の指標を戦略的にゲームすることができる。 我々はこの問題を2つの相補的なアライメントの概念を通して研究する。 メトリックは、人間の評価と相関し、タスク関連情報を付加しない摂動に抵抗するならば、統計的に一致している。 私たちは2つの貢献をします。 まず, 人間の年齢相関, 劣化感度, 操作堅牢性からなる基準ベースメトリクスのテスト原理を提案する。 これらの原則は、計量が人間の判断と一致するかどうかを評価し、低益な情報損失を罰し、戦略的スコアインフレーションに抵抗する。 第2に,情報量,推定方法,テキスト表現,予測機構の4つの選択肢に,既存のメトリクスと新しいメトリクスを分解した相互情報に基づくメトリクスの統一設計フレームワークを開発する。 LLM-as-a-Judgeは高い相関性を持つが操作に影響を受けやすい。 対照的に、相互情報に基づくメトリクスは、操作の堅牢性を大幅に改善する。 我々のフレームワークはまた、人間の年齢相関に競争力を維持しながら、実験において最も強い総合的な堅牢性を達成する新しい指標を明らかにした。

関連論文リスト

• Do Metrics for Counterfactual Explanations Align with User Perception? [3.919854840656461]
  アルゴリズムによる評価指標と人間による説明品質判定を比較した。 その結果,アルゴリズムの指標と人間の評価の相関は一般的に弱く,データセットに依存していることがわかった。 提案手法は, 利用者が認識する説明品質の重要な側面を反映していないことが示唆された。
  論文  参考訳（メタデータ） (2026-03-16T17:56:54Z)
• Evaluating the Evaluators: Metrics for Compositional Text-to-Image Generation [13.460909458745379]
  本稿では,コンポジションテキスト画像評価に広く用いられている指標について検討する。 我々の分析は単純な相関を超越し、様々な構成課題にまたがってそれらの振る舞いを調べる。 結果は、1つのメトリクスがタスク間で一貫した実行をしないことを示している。
  論文  参考訳（メタデータ） (2025-09-25T14:31:09Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• What is the Best Automated Metric for Text to Motion Generation? [19.71712698183703]
  自然言語の記述から骨格に基づく人間の動きを生成することへの関心が高まっている。 人間の評価は、このタスクの究極の精度測定であり、自動化されたメトリクスは、人間の品質判断とよく相関するべきである。 本稿では,どの指標が人間の評価に最も適しているかを体系的に検討し,さらに適合する新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-19T01:59:54Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。