論文の概要: Do Multi-Document Summarization Models Synthesize?
- arxiv url: http://arxiv.org/abs/2301.13844v1
- Date: Tue, 31 Jan 2023 18:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 15:26:26.792280
- Title: Do Multi-Document Summarization Models Synthesize?
- Title(参考訳): 多文書要約モデルは合成されるか?
- Authors: Jay DeYoung, Stephanie C. Martinez, Iain J. Marshall, Byron C. Wallace
- Abstract要約: 現代の多文書要約モデルは、このタイプの合成を暗黙的に行うことができるのか?
既存のモデルは部分的に合成を行うが、不完全である。
そこで本研究では,モデル合成機能を改善するための簡易で汎用的な手法を提案する。
- 参考スコア(独自算出の注目度): 22.360828792348894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-document summarization entails producing concise synopses of
collections of inputs. For some applications, the synopsis should accurately
\emph{synthesize} inputs with respect to a key property or aspect. For example,
a synopsis of film reviews all written about a particular movie should reflect
the average critic consensus. As a more consequential example, consider
narrative summaries that accompany biomedical \emph{systematic reviews} of
clinical trial results. These narratives should fairly summarize the
potentially conflicting results from individual trials.
In this paper we ask: To what extent do modern multi-document summarization
models implicitly perform this type of synthesis? To assess this we perform a
suite of experiments that probe the degree to which conditional generation
models trained for summarization using standard methods yield outputs that
appropriately synthesize inputs. We find that existing models do partially
perform synthesis, but do so imperfectly. In particular, they are
over-sensitive to changes in input ordering and under-sensitive to changes in
input compositions (e.g., the ratio of positive to negative movie reviews). We
propose a simple, general method for improving model synthesis capabilities by
generating an explicitly diverse set of candidate outputs, and then selecting
from these the string best aligned with the expected aggregate measure for the
inputs, or \emph{abstaining} when the model produces no good candidate. This
approach improves model synthesis performance. We hope highlighting the need
for synthesis (in some summarization settings), motivates further research into
multi-document summarization methods and learning objectives that explicitly
account for the need to synthesize.
- Abstract(参考訳): 多文書要約では、入力の集合の簡潔なシナプスを生成する。
いくつかのアプリケーションでは、シンプシスはキープロパティやアスペクトに関して正確に \emph{synthesize} 入力を持つべきである。
例えば、特定の映画について書かれた映画レビューの要約は、平均的な批評家のコンセンサスを反映しなければならない。
より簡潔な例として、臨床試験の結果に付随する生体医学的システム的レビューを伴う物語要約を考える。
これらの物語は、個々の試行による潜在的に矛盾する結果をかなり要約するべきである。
本稿では,現代多文書要約モデルがこのタイプの合成をどの程度暗黙的に行うのかを問う。
これを評価するために、標準手法を用いて要約のために訓練された条件付き生成モデルが入力を適切に合成する出力を生成する程度を調べる一連の実験を行う。
既存のモデルは部分的に合成を行うが、不完全である。
特に、入力順序の変化に過敏であり、入力組成の変化に過敏である(例えば、肯定的な映画レビューと否定的な映画レビューの比率)。
そこで本論文では,入力に対して期待される集計値に最も適した文字列,あるいはモデルがよい候補を生成できない場合の 'emph{abstaining} を選択することで,モデル合成機能を改善するための簡易で汎用的な手法を提案する。
このアプローチはモデル合成性能を向上させる。
我々は、(いくつかの要約設定において)合成の必要性を強調し、合成の必要性を明確に説明する多文書要約手法と学習目的に関するさらなる研究を動機付けたい。
関連論文リスト
- AugSumm: towards generalizable speech summarization using synthetic
labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。
従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。
AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文 参考訳(メタデータ) (2024-01-10T18:39:46Z) - Automated News Summarization Using Transformers [4.932130498861987]
我々は,テキスト要約のためのトランスフォーマーアーキテクチャに基づく事前学習モデルについて,包括的に比較する。
分析と比較のために,要約や人為的な要約に使用できるテキストデータを含むBBCニュースデータセットを用いた。
論文 参考訳(メタデータ) (2021-04-23T04:22:33Z) - Improving Faithfulness in Abstractive Summarization with Contrast
Candidate Generation and Selection [54.38512834521367]
モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。
代替候補要約を生成して判別補正モデルを学習する。
このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
論文 参考訳(メタデータ) (2021-04-19T05:39:24Z) - SummScreen: A Dataset for Abstractive Screenplay Summarization [52.56760815805357]
SummScreenは、テレビシリーズトランスクリプトと人間の書かれたリキャップのペアで構成されたデータセットです。
プロットの詳細はしばしば文字対話で間接的に表現され、書き起こしの全体にわたって散らばることがある。
キャラクタはテレビシリーズの基本であるため,2つのエンティティ中心評価指標も提案する。
論文 参考訳(メタデータ) (2021-04-14T19:37:40Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳(メタデータ) (2020-05-03T18:23:06Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳(メタデータ) (2020-04-30T15:37:38Z) - Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
説明可能性を重視した新しいフレームワークを開発する。
新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。
コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
論文 参考訳(メタデータ) (2020-04-24T14:39:34Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳(メタデータ) (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。