論文の概要: An Automated Length-Aware Quality Metric for Summarization

• arxiv url: http://arxiv.org/abs/2507.07653v1
• Date: Thu, 10 Jul 2025 11:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.375663
• Title: An Automated Length-Aware Quality Metric for Summarization
• Title（参考訳）: 要約のための自動長さ認識品質基準
• Authors: Andrew D. Foland,
• Abstract要約: 本稿では,任意のテキストの要約品質を評価するための定量的客観的指標であるNormed Index of Retention(NOIR)を提案する。 実験では、NOIRが要約器のトークン長/意味保持を効果的に捉え、要約品質に対する人間の認識に相関することを示した。 提案手法は,様々な要約タスクに適用可能であり,要約アルゴリズムの評価と改善のための自動化ツールを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes NOrmed Index of Retention (NOIR), a quantitative objective metric for evaluating summarization quality of arbitrary texts that relies on both the retention of semantic meaning and the summary length compression. This gives a measure of how well the recall-compression tradeoff is managed, the most important skill in summarization. Experiments demonstrate that NOIR effectively captures the token-length / semantic retention tradeoff of a summarizer and correlates to human perception of sumarization quality. Using a language model-embedding to measure semantic similarity, it provides an automated alternative for assessing summarization quality without relying on time-consuming human-generated reference summaries. The proposed metric can be applied to various summarization tasks, offering an automated tool for evaluating and improving summarization algorithms, summarization prompts, and synthetically-generated summaries.
• Abstract（参考訳）: 本稿では,意味的意味の保持と要約長の圧縮の両方に依存する任意のテキストの要約品質を評価するための定量的客観的指標であるNormed Index of Retention(NOIR)を提案する。 これは、リコール圧縮トレードオフがどれだけうまく管理されているか、すなわち、要約において最も重要なスキルを提供する。 実験により,NOIRは要約器のトークン長/意味保持トレードオフを効果的に捉え,要約品質に対する人間の認識と相関することが示された。 セマンティックな類似度を測定するために言語モデル埋め込みを使用することで、人間の生成した参照要約に時間を要することなく、要約品質を評価するための自動化された代替手段を提供する。 提案手法は, 要約アルゴリズムの評価・改善, 要約プロンプト, 合成合成要約など, 様々な要約タスクに適用できる。

関連論文リスト

• Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization [16.127739014966487]
  生成した要約の質を計測する際の様々な種類の指標の相補性について検討する。 我々は,その側面を捉えるために,コントラスト学習に基づく新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-12-24T13:12:39Z)
• Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
  本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。 我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。 要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
  論文  参考訳（メタデータ） (2023-05-24T11:34:39Z)
• Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
  解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。 我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
  論文  参考訳（メタデータ） (2023-03-07T02:49:50Z)
• Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics [1.5749416770494706]
  多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。 MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
  論文  参考訳（メタデータ） (2022-10-25T17:09:08Z)
• WIDAR -- Weighted Input Document Augmented ROUGE [26.123086537577155]
  提案する指標WIDARは,基準要約の品質に応じて評価スコアを適応させるように設計されている。 提案指標は, 整合性, 整合性, 流速性, 人的判断の関連性において, ROUGEよりも26%, 76%, 82%, 15%の相関関係を示した。
  論文  参考訳（メタデータ） (2022-01-23T14:40:42Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Improving Factual Consistency of Abstractive Summarization via Question Answering [25.725873545789046]
  要約における事実整合性に対処するアプローチを提案する。 まず,実体整合性を測定するための効率的な自動評価指標を提案する。 次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:07:21Z)
• Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries [74.28810048824519]
  ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。 それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-10-23T15:55:15Z)
• Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
  教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-05T05:04:14Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。