論文の概要: Do Multi-Document Summarization Models Synthesize?

• arxiv url: http://arxiv.org/abs/2301.13844v1
• Date: Tue, 31 Jan 2023 18:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 15:26:26.792280
• Title: Do Multi-Document Summarization Models Synthesize?
• Title（参考訳）: 多文書要約モデルは合成されるか?
• Authors: Jay DeYoung, Stephanie C. Martinez, Iain J. Marshall, Byron C. Wallace
• Abstract要約: 現代の多文書要約モデルは、このタイプの合成を暗黙的に行うことができるのか? 既存のモデルは部分的に合成を行うが、不完全である。 そこで本研究では,モデル合成機能を改善するための簡易で汎用的な手法を提案する。
• 参考スコア（独自算出の注目度）: 22.360828792348894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-document summarization entails producing concise synopses of collections of inputs. For some applications, the synopsis should accurately \emph{synthesize} inputs with respect to a key property or aspect. For example, a synopsis of film reviews all written about a particular movie should reflect the average critic consensus. As a more consequential example, consider narrative summaries that accompany biomedical \emph{systematic reviews} of clinical trial results. These narratives should fairly summarize the potentially conflicting results from individual trials. In this paper we ask: To what extent do modern multi-document summarization models implicitly perform this type of synthesis? To assess this we perform a suite of experiments that probe the degree to which conditional generation models trained for summarization using standard methods yield outputs that appropriately synthesize inputs. We find that existing models do partially perform synthesis, but do so imperfectly. In particular, they are over-sensitive to changes in input ordering and under-sensitive to changes in input compositions (e.g., the ratio of positive to negative movie reviews). We propose a simple, general method for improving model synthesis capabilities by generating an explicitly diverse set of candidate outputs, and then selecting from these the string best aligned with the expected aggregate measure for the inputs, or \emph{abstaining} when the model produces no good candidate. This approach improves model synthesis performance. We hope highlighting the need for synthesis (in some summarization settings), motivates further research into multi-document summarization methods and learning objectives that explicitly account for the need to synthesize.
• Abstract（参考訳）: 多文書要約では、入力の集合の簡潔なシナプスを生成する。 いくつかのアプリケーションでは、シンプシスはキープロパティやアスペクトに関して正確に \emph{synthesize} 入力を持つべきである。 例えば、特定の映画について書かれた映画レビューの要約は、平均的な批評家のコンセンサスを反映しなければならない。 より簡潔な例として、臨床試験の結果に付随する生体医学的システム的レビューを伴う物語要約を考える。 これらの物語は、個々の試行による潜在的に矛盾する結果をかなり要約するべきである。 本稿では,現代多文書要約モデルがこのタイプの合成をどの程度暗黙的に行うのかを問う。 これを評価するために、標準手法を用いて要約のために訓練された条件付き生成モデルが入力を適切に合成する出力を生成する程度を調べる一連の実験を行う。 既存のモデルは部分的に合成を行うが、不完全である。 特に、入力順序の変化に過敏であり、入力組成の変化に過敏である(例えば、肯定的な映画レビューと否定的な映画レビューの比率)。 そこで本論文では,入力に対して期待される集計値に最も適した文字列,あるいはモデルがよい候補を生成できない場合の 'emph{abstaining} を選択することで,モデル合成機能を改善するための簡易で汎用的な手法を提案する。 このアプローチはモデル合成性能を向上させる。 我々は、(いくつかの要約設定において)合成の必要性を強調し、合成の必要性を明確に説明する多文書要約手法と学習目的に関するさらなる研究を動機付けたい。

関連論文リスト

• Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
  この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。 エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。 微調整モデルの性能をベースライン事前訓練モデルと比較する。 BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
  論文  参考訳（メタデータ） (2024-10-22T09:25:04Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection [54.38512834521367]
  モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。 代替候補要約を生成して判別補正モデルを学習する。 このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
  論文  参考訳（メタデータ） (2021-04-19T05:39:24Z)
• SummScreen: A Dataset for Abstractive Screenplay Summarization [52.56760815805357]
  SummScreenは、テレビシリーズトランスクリプトと人間の書かれたリキャップのペアで構成されたデータセットです。 プロットの詳細はしばしば文字対話で間接的に表現され、書き起こしの全体にわたって散らばることがある。 キャラクタはテレビシリーズの基本であるため,2つのエンティティ中心評価指標も提案する。
  論文  参考訳（メタデータ） (2021-04-14T19:37:40Z)
• Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization [22.611879349101596]
  系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。 現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
  論文  参考訳（メタデータ） (2020-08-25T22:22:50Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。