論文の概要: Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation
- arxiv url: http://arxiv.org/abs/2607.10806v1
- Date: Sun, 12 Jul 2026 15:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.546089
- Title: Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation
- Title（参考訳）: テキスト要約評価のための抽象性尺度:経験的検証による定式化
- Abstract要約: 生成した要約の抽象性を定量化することは、ROUGEのような表面レベルのメトリクスを超えて要約を評価するのに不可欠である。
参照抽象化(RA)、概要抽象化(SA)、抽象比(AR)を紹介する。
ソーステキストの抽出コピーからどの程度の要約が発散するかを測定するメトリクス。
- 参考スコア（独自算出の注目度）: 2.893226191913102
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Quantifying abstractiveness in generated summaries is essential for evaluating summarization models beyond surface-level metrics like ROUGE. We introduce Reference Abstraction (RA), Summary Abstraction (SA), and Abstraction Ratio (AR) -- a set of principled heuristic metrics that measure how much a summary diverges from extractive copying of the source text. The formulation uses the harmonic mean of document lengths modulated by a cubic non-overlap factor, yielding dimensionally consistent, bounded output with non-linear sensitivity to the extractive-abstractive boundary. Evaluation on 100 XSUM documents across four summarization models (BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small) demonstrates that the metrics successfully discriminate between extractive models (SA ~ 0.12-0.26) and abstractive models (SA ~ 0.96-1.77), and that the Abstraction Ratio identifies summaries requiring manual evaluation for potential hallucination. Code and results are available at https://github.com/katweNLP/AbstractionStudy.
- Abstract（参考訳）: 生成した要約の抽象性を定量化することは、ROUGEのような表面レベルのメトリクスを超えた要約モデルを評価するのに不可欠である。
本稿では,参照抽象化(RA),要約抽象化(SA),抽象化比(AR)について紹介する。
定式化は、立方体の非オーバーラップ因子によって変調された文書長の調和平均を使用し、抽出-吸収境界に対する非線形感度で次元的に一貫した有界出力を得る。
4つの要約モデル(BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small)にまたがる100のXSUM文書の評価は、抽出モデル(SA ~ 0.12-0.26)と抽象モデル(SA ~ 0.96-1.77)の識別に成功し、抽象比は潜在的幻覚のマニュアル評価を必要とする要約を識別することを示した。
コードと結果はhttps://github.com/katweNLP/AbstractionStudy.comで公開されている。
関連論文リスト
- Consistency Evaluation of News Article Summaries Generated by Large (and Small) Language Models [0.0]
大言語モデル (LLMs) は、流動的な抽象的な要約を生成することを約束しているが、ソーステキストに基づかない幻覚的な詳細を生成することができる。
本稿では,TextRank,BART,Mistral-7B-Instruct,OpenAI GPT-3.5-Turboなど,さまざまな手法を用いてテキスト要約の探索を行う。
XL-Sumデータセットでテストすると,すべての要約モデルが一貫した要約を生成することがわかった。
論文 参考訳（メタデータ） (2025-02-28T01:58:17Z) - Source Identification in Abstractive Summarization [0.8883733362171033]
生成された要約文に必須情報を含む入力文を$textitsource文として定義し、ソース文を解析して抽象的な要約がどのように作られるかを研究する。
我々は,複数の手法を比較し,タスクの強いベースラインを確立するために,自動ソース文検出を定式化する。
実験結果から, パープレキシティに基づく手法は, 比較的抽象的条件下では良好に動作し, 類似性に基づく手法は比較的抽出的条件下では頑健であることがわかった。
論文 参考訳（メタデータ） (2024-02-07T09:09:09Z) - AugSumm: towards generalizable speech summarization using synthetic
labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。
従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。
AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文 参考訳（メタデータ） (2024-01-10T18:39:46Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳（メタデータ） (2023-11-16T02:56:29Z) - Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。
SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
論文 参考訳（メタデータ） (2022-10-22T02:13:44Z) - Summarization Programs: Interpretable Abstractive Summarization with
Neural Modular Trees [89.60269205320431]
現在の抽象的要約モデルは明確な解釈可能性の欠如に悩まされるか、あるいは不完全理性を与える。
本稿では,バイナリツリーの(順序付き)リストからなる解釈可能なモジュラーフレームワークであるSummarization Program (SP)を提案する。
要約プログラムは、要約文毎に1つのルートノードを含み、各要約文と文書文を個別のツリーで接続する。
論文 参考訳（メタデータ） (2022-09-21T16:50:22Z) - Evaluating the Tradeoff Between Abstractiveness and Factuality in
Abstractive Summarization [20.83986393847262]
複数のデータセットやモデル間で生成された要約の抽象性と事実性のトレードオフを分析する。
抽象性の度合いを調節する新しい事実性指標を提案する。
論文 参考訳（メタデータ） (2021-08-05T21:28:20Z) - Constrained Abstractive Summarization: Preserving Factual Consistency
with Constrained Generation [93.87095877617968]
本稿では,抽象要約の現実的一貫性を保ちつつ,制約付き抽象要約(CAS)を提案する。
我々は、CASを満たすために、一般的に自己回帰生成モデルに適用される語彙制約付き復号法を採用する。
対話的要約において1つの手動制約のみを使用する場合、最大13.8ROUGE-2ゲインを観測する。
論文 参考訳（メタデータ） (2020-10-24T00:27:44Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳（メタデータ） (2020-10-06T02:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。