論文の概要: Direct-Scoring NLG Evaluators Can Use Pairwise Comparisons Too

• arxiv url: http://arxiv.org/abs/2509.05440v1
• Date: Fri, 05 Sep 2025 18:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.509124
• Title: Direct-Scoring NLG Evaluators Can Use Pairwise Comparisons Too
• Title（参考訳）: NLGの直接スコア評価器もペアワイズで比較できる
• Authors: Logan Lawrence, Ashton Williamson, Alexander Shelton,
• Abstract要約: 本稿では,合成要約を用いて,テスト時に一対のマシンランキングとして機能するダイレクトスコーリング手法を提案する。 提案手法は, 軸平均試料レベルの相関関係から, 最先端のペアワイズ評価器と同等に動作することを示す。
• 参考スコア（独自算出の注目度）: 42.13843953705695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large-language models have been increasingly used as automatic raters for evaluating free-form content, including document summarization, dialog, and story generation, work has been dedicated to evaluating such models by measuring their correlations with human judgment. For \textit{sample-level} performance, methods which operate by using pairwise comparisons between machine-generated text perform well but often lack the ability to assign absolute scores to individual summaries, an ability crucial for use cases that require thresholding. In this work, we propose a direct-scoring method which uses synthetic summaries to act as pairwise machine rankings at test time. We show that our method performs comparably to state-of-the-art pairwise evaluators in terms of axis-averaged sample-level correlations on the SummEval (\textbf{+0.03}), TopicalChat (\textbf{-0.03}), and HANNA (\textbf{+0.05}) meta-evaluation benchmarks, and release the synthetic in-context summaries as data to facilitate future work.
• Abstract（参考訳）: 文書要約,ダイアログ,物語生成など,自由形式のコンテンツを評価するための自動型付け器として,大規模言語モデルがますます活用されているため,人間の判断と相関性を測定することで,そのようなモデルを評価する作業が進められている。 textit{sample-level} のパフォーマンスでは、機械生成テキストのペア比較によってうまく機能するが、個々のサマリーに絶対スコアを割り当てる能力が欠如していることが多い。 そこで本研究では,合成要約を用いて,テスト時に一対のマシンランキングとして機能するダイレクトスコーリング手法を提案する。 本手法は,SummEval (\textbf{+0.03}), TopicalChat (\textbf{-0.03}), HANNA (\textbf{+0.05}) メタ評価ベンチマークの軸平均サンプルレベルの相関で,最先端のペアワイズ評価器に対して比較可能であり,将来的な作業を容易にするために合成インコンテキスト要約をデータとしてリリースする。

関連論文リスト

• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
  本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。 我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。 要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
  論文  参考訳（メタデータ） (2023-05-24T11:34:39Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• Comparing Methods for Extractive Summarization of Call Centre Dialogue [77.34726150561087]
  そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
  論文  参考訳（メタデータ） (2022-09-06T13:16:02Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)
• Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
  本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。 また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。 我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
  論文  参考訳（メタデータ） (2020-06-05T03:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。