Fugu-MT 論文翻訳(概要): Event-based evaluation of abstractive news summarization

論文の概要: Event-based evaluation of abstractive news summarization

arxiv url: http://arxiv.org/abs/2507.01160v1
Date: Tue, 01 Jul 2025 19:49:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-03 14:22:59.870663
Title: Event-based evaluation of abstractive news summarization
Title（参考訳）: イベントベースによる抽象ニュース要約の評価
Authors: Huiling You, Samia Touileb, Erik Velldal, Lilja Øvrelid,
Abstract要約: 生成した要約,参照要約,原記事間の重複事象を計算し,抽象要約の質を評価する。私たちのアプローチは、要約に含まれるイベント情報に関するより深い洞察を提供します。
参考スコア（独自算出の注目度）: 8.25219440625445
License: http://creativecommons.org/licenses/by/4.0/
Abstract: An abstractive summary of a news article contains its most important information in a condensed version. The evaluation of automatically generated summaries by generative language models relies heavily on human-authored summaries as gold references, by calculating overlapping units or similarity scores. News articles report events, and ideally so should the summaries. In this work, we propose to evaluate the quality of abstractive summaries by calculating overlapping events between generated summaries, reference summaries, and the original news articles. We experiment on a richly annotated Norwegian dataset comprising both events annotations and summaries authored by expert human annotators. Our approach provides more insight into the event information contained in the summaries.
Abstract（参考訳）: ニュース記事の抽象的な要約は、凝縮版において最も重要な情報を含んでいる。生成言語モデルによる自動生成要約の評価は、重なり合う単位や類似度スコアを計算することによって、人によって書かれた要約を金の参照として大きく依存する。ニュース記事はイベントを報告します。本稿では,生成された要約,参照要約,原記事の重複する事象を計算し,抽象要約の質を評価することを提案する。我々は、専門家のアノテータによって書かれたイベントアノテーションと要約の両方からなるリッチなアノテートノルウェーデータセットを実験した。私たちのアプローチは、要約に含まれるイベント情報に関するより深い洞察を提供します。

関連論文リスト

Consistency Evaluation of News Article Summaries Generated by Large (and Small) Language Models [0.0]
大言語モデル (LLMs) は、流動的な抽象的な要約を生成することを約束しているが、ソーステキストに基づかない幻覚的な詳細を生成することができる。本稿では,TextRank,BART,Mistral-7B-Instruct,OpenAI GPT-3.5-Turboなど,さまざまな手法を用いてテキスト要約の探索を行う。 XL-Sumデータセットでテストすると,すべての要約モデルが一貫した要約を生成することがわかった。
論文参考訳（メタデータ） (2025-02-28T01:58:17Z)
AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文参考訳（メタデータ） (2024-01-10T18:39:46Z)
Automatic News Summerization [0.0]
この研究は、ニュース記事と人為的な参照要約からなるCNN-Daily Mailデータセットを用いている。評価はROUGEスコアを用いて生成した要約の有効性と品質を評価する。
論文参考訳（メタデータ） (2023-10-17T18:38:03Z)
SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文参考訳（メタデータ） (2023-05-24T07:40:06Z)
Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
論文参考訳（メタデータ） (2022-10-22T02:13:44Z)
Podcast Summary Assessment: A Resource for Evaluating Summary Assessment Methods [42.08097583183816]
本稿では,新たなデータセット,ポッドキャスト要約評価コーパスについて述べる。このデータセットには、2つのユニークな側面がある: (i)ロングインプット、音声ポッドキャストベース、文書; (ii)ポッドキャストコーパスにおける不適切な参照要約を検出する機会。
論文参考訳（メタデータ） (2022-08-28T18:24:41Z)
Template-based Abstractive Microblog Opinion Summarisation [26.777997436856076]
我々は,マイクロブログ意見要約(MOS)の課題を紹介し,ゴールド標準意見要約3100のデータセットを共有する。このデータセットには、2年間にわたるつぶやきの要約が含まれており、他のパブリックなTwitter要約データセットよりも多くのトピックをカバーしている。
論文参考訳（メタデータ） (2022-08-08T12:16:01Z)
Unsupervised Summarization with Customized Granularities [76.26899748972423]
本稿では,最初の教師なし多粒度要約フレームワークであるGranuSumを提案する。異なる数のイベントを入力することで、GranuSumは教師なしの方法で複数の粒度のサマリーを生成することができる。
論文参考訳（メタデータ） (2022-01-29T05:56:35Z)
Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-05T05:04:14Z)
Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文参考訳（メタデータ） (2020-04-30T15:37:38Z)
Screenplay Summarization Using Latent Narrative Structure [78.45316339164133]
本稿では,物語の基盤となる構造を一般教師なし・教師付き抽出要約モデルに明示的に組み込むことを提案する。重要な物語イベント(転回点)の観点で物語構造を定式化し、脚本を要約するために潜伏状態として扱う。シーンレベルの要約ラベルを付加したテレビ画面のCSIコーパスの実験結果から,潜角点がCSIエピソードの重要な側面と相関していることが判明した。
論文参考訳（メタデータ） (2020-04-27T11:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。