論文の概要: Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation

• arxiv url: http://arxiv.org/abs/2610.19166v1
• Date: Tue, 13 Oct 2026 20:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.80221
• Title: Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation
• Title（参考訳）: 多言語スタイルパーソナライズドジェネレーションのためのメタ評価指標
• Abstract要約: 以前の研究では、相関は計量の評価能力を適切に見積もるものではないことが示されている。 本稿では,人間の評価を推定するために,評価指標の校正結果から学習するメトリクスの回帰に基づくメタ評価を提案する。
• 参考スコア（独自算出の注目度）: 13.661008964079913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-evaluation of text generation metrics and LLM-judges is primarily conducted using metric-human correlations. However, prior work has shown that correlation is not an appropriate estimate of a metric's evaluation capability and can be unstable across evaluation settings, such as different datasets or languages. Therefore, we propose a regression-based meta-evaluation of metrics that learns on calibrated metric outputs to predict human ratings. We ground this measurement relative to a trivial constant-mean baseline and human agreements to provide a comparable measure of metric capability across evaluation settings. To test our meta-evaluation framework, we developed a large-scale multi-lingual style-personalized text generation (SPTG) benchmark, collecting multiple annotations across 10 topologically diverse languages and four evaluation dimensions, each with varying degrees of subjectivity. We meta-evaluated 32 metrics from three style evaluation paradigms (string-based, embedding-based, and LLM-judges) and their ensembles over these 40 evaluation settings. Our analysis revealed that even simple string- and embedding-based measurements can match strong LLM-judges when calibrated to human ratings. We also identified characteristics of human annotations that determine metric performance, as well as conditions under which a metric ensemble outperforms its individual constituents.
• Abstract（参考訳）: テキスト生成指標とLCM-judgesのメタ評価は、主に計量人間相関を用いて行われる。 しかし、以前の研究では、相関はメトリクスの評価能力を適切に見積もるものではないことが示されており、異なるデータセットや言語など、評価設定間で不安定である可能性がある。 そこで本稿では,人間の評価を予測するために,校正された評価結果から学習するメトリクスの回帰に基づくメタ評価を提案する。 我々は,この測定基準を,自明な定数平均基準値と人的合意に比例し,評価設定に比較して測定能力の測定を行う。 メタ評価フレームワークをテストするために,大規模多言語スタイルの個人化テキスト生成(SPTG)ベンチマークを構築した。 3つのスタイル評価パラダイム(ストリングベース,埋め込みベース,LLM-judges)から32のメトリクスをメタ評価し,これらの40の評価設定に対してアンサンブルを行った。 解析の結果,単純な文字列と埋め込みに基づく測定でも,人間の評価基準に適合する強いLDMジャッジと一致できることが判明した。 また,メートル法の性能を決定する人間のアノテーションの特徴と,メートル法アンサンブルが個々の構成成分より優れる条件も同定した。

関連論文リスト

• Contextual Metric Meta-Evaluation by Measuring Local Metric Accuracy [52.261323452286554]
  本稿では,評価指標の局所的メートル法精度を比較することによって,文脈的メタ評価手法を提案する。 翻訳,音声認識,ランキングタスクを通じて,局所的計量精度が絶対値と相対的有効性の両方で異なることを示す。
  論文  参考訳（メタデータ） (2025-03-25T16:42:25Z)
• Rethinking Evaluation Metrics for Grammatical Error Correction: Why Use a Different Evaluation Process than Human? [13.02513034520894]
  本稿では,人的評価手法と整合してギャップを埋める自動評価指標の集約手法を提案する。 編集ベースのメトリクス、n-gramベースのメトリクス、文レベルのメトリクスなど、さまざまなメトリクスを用いて実験を行った。
  論文  参考訳（メタデータ） (2025-02-13T15:39:07Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• APPLS: Evaluating Evaluation Metrics for Plain Language Summarization [18.379461020500525]
  本研究では,Plain Language Summarization (PLS) のメトリクス評価を目的とした,詳細なメタ評価テストベッド APPLS を提案する。 従来の作業から4つのPLS基準を特定し,これらの基準に対応する摂動のセットを定義した。 APPLSを用いて、自動スコア、語彙特徴、LLMプロンプトに基づく評価を含む14のメトリクスのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:59:19Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• LCEval: Learned Composite Metric for Caption Evaluation [37.2313913156926]
  ニューラルネットワークに基づく学習指標を提案し,キャプションレベルのキャプション評価を改善する。 本稿では,異なる言語特徴と学習指標のキャプションレベルの相関関係について検討する。 提案手法は,キャプションレベルの相関で既存の指標を上回るだけでなく,人間評価に対するシステムレベルの相関性も示している。
  論文  参考訳（メタデータ） (2020-12-24T06:38:24Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。