論文の概要: Calibrating Model-Based Evaluation Metrics for Summarization
- arxiv url: http://arxiv.org/abs/2604.17200v1
- Date: Sun, 19 Apr 2026 02:04:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.387734
- Title: Calibrating Model-Based Evaluation Metrics for Summarization
- Title（参考訳）: 要約のためのモデルに基づく評価指標の校正
- Authors: Hongye Liu, Dhanajit Brahma, Ricardo Henao,
- Abstract要約: 本稿では,参照要約やヒューマンアノテーション,モデルベースのメトリクスに頼ることなく,個々のプロキシスコアと平均プロキシスコアを生成するフレームワークを提案する。
また,GIRB(Group isotonic regression binning)も提案する。これは,原位置予測を調整し,地中構造評価指標との整合性を向上するキャリブレーション手法である。
- 参考スコア（独自算出の注目度）: 16.315060726460075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in summary evaluation are based on model-based metrics to assess quality dimensions, such as completeness, conciseness, and faithfulness. However, these methods often require large language models, and predicted scores are frequently miscalibrated, limiting their reliability. Moreover, evaluating the average quality across different summaries for a single document typically requires access to multiple reference summaries. Here, we propose a general framework that generates individual and average proxy scores without relying on reference summaries, human annotations, or expensive model-based metrics. We also propose group isotonic regression binning (GIRB), a calibration method that adjusts the raw predictions to better align with ground-truth evaluation metrics. While we focus on continuous-value scenarios, such as summarization, the method is applicable to discrete-value tasks, such as question answering. Experiments on seven datasets demonstrate that our approach consistently outperforms existing baselines.
- Abstract（参考訳）: 要約評価の最近の進歩は、完全性、簡潔性、忠実性などの品質次元を評価するためのモデルに基づくメトリクスに基づいている。
しかし、これらの手法は大きな言語モデルを必要とすることが多く、予測されたスコアはしばしば誤校正され、信頼性が制限される。
さらに、1つのドキュメントに対して異なる要約の平均品質を評価するには、通常、複数の参照要約にアクセスする必要がある。
本稿では,参照要約やヒューマンアノテーション,高価なモデルベースメトリクスに頼ることなく,個々のプロキシスコアと平均プロキシスコアを生成する汎用フレームワークを提案する。
また,GIRB(Group isotonic regression binning)も提案する。これは,原位置予測を調整し,地中構造評価指標との整合性を向上するキャリブレーション手法である。
要約などの連続値シナリオに焦点をあてる一方で,質問応答などの離散値タスクにも適用可能である。
7つのデータセットの実験は、我々のアプローチが既存のベースラインを一貫して上回っていることを示している。
関連論文リスト
- Reranking-based Generation for Unbiased Perspective Summarization [10.71668103641552]
我々は,人間のアノテーションを用いて,計量信頼性をベンチマークするテストセットを開発した。
従来の指標は言語モデルに基づく指標に比べて性能が低いことが示され、強力な評価指標であることが証明された。
本研究の目的は,視点要約手法の信頼性評価と開発に寄与することである。
論文 参考訳（メタデータ） (2025-06-19T00:01:43Z) - Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。
SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
論文 参考訳（メタデータ） (2023-08-08T16:41:16Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-04-11T10:14:35Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z) - A Training-free and Reference-free Summarization Evaluation Metric via
Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
トレーニング不要かつ参照不要な要約評価指標を提案する。
我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。
提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2021-06-26T05:11:27Z) - SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。
上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。
我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文 参考訳（メタデータ） (2020-07-24T16:25:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。