論文の概要: Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2108.02859v2
• Date: Mon, 24 Apr 2023 20:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 04:14:01.493471
• Title: Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
• Title（参考訳）: 抽象要約における抽象性と事実性のトレードオフの評価
• Authors: Markus Dreyer, Mengwen Liu, Feng Nan, Sandeep Atluri, Sujith Ravi
• Abstract要約: 複数のデータセットやモデル間で生成された要約の抽象性と事実性のトレードオフを分析する。 抽象性の度合いを調節する新しい事実性指標を提案する。
• 参考スコア（独自算出の注目度）: 20.83986393847262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models for abstractive summarization tend to generate output that is fluent and well-formed but lacks semantic faithfulness, or factuality, with respect to the input documents. In this paper, we analyze the tradeoff between abstractiveness and factuality of generated summaries across multiple datasets and models, using extensive human evaluations of factuality. In our analysis, we visualize the rates of change in factuality as we gradually increase abstractiveness using a decoding constraint, and we observe that, while increased abstractiveness generally leads to a drop in factuality, the rate of factuality decay depends on factors such as the data that the system was trained on. We introduce two datasets with human factuality judgements; one containing 10.2k generated summaries with systematically varied degrees of abstractiveness; the other containing 4.2k summaries from five different summarization models. We propose new factuality metrics that adjust for the degree of abstractiveness, and we use them to compare the abstractiveness-adjusted factuality of previous summarization works, providing baselines for future work.
• Abstract（参考訳）: 抽象的な要約のためのニューラルモデルでは、入力文書に関して意味的な忠実さや事実性を欠いた、流動的で整然とした出力を生成する傾向がある。 本稿では,複数のデータセットやモデルにまたがって生成した要約の抽象性と事実性のトレードオフを分析する。 分析では,デコード制約を用いて抽象性を徐々に増加させるにつれて,現実性の変化率を可視化し,抽象性の増加は一般的に事実性の低下につながるが,事実性の減衰率は,システムが訓練したデータなどの要因に依存することを示した。 1つは体系的に異なる抽象度を持つ10.2kの要約、もう1つは5つの異なる要約モデルから4.2kの要約を含む。 我々は,抽象性の度合いを調節する新しい事実度指標を提案し,それらを用いて,過去の要約作業の抽象性調整事実度を比較し,今後の作業のベースラインを提供する。

関連論文リスト

• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
  本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。 本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-02-16T19:07:08Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization [6.017006996402699]
  我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。 参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
  論文  参考訳（メタデータ） (2021-09-19T20:05:21Z)
• Subjective Bias in Abstractive Summarization [11.675414451656568]
  主観的バイアスと同じ内容を要約する複数の表現の相違を定式化し、抽象的要約の文脈におけるこのバイアスの役割について検討する。 スタイルクラスタ化されたデータセットに基づいてトレーニングされた要約モデルの結果は、より収束性、抽象化、一般化につながるある種のスタイルが存在することを示している。
  論文  参考訳（メタデータ） (2021-06-18T12:17:55Z)
• Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation [93.87095877617968]
  本稿では,抽象要約の現実的一貫性を保ちつつ,制約付き抽象要約(CAS)を提案する。 我々は、CASを満たすために、一般的に自己回帰生成モデルに適用される語彙制約付き復号法を採用する。 対話的要約において1つの手動制約のみを使用する場合、最大13.8ROUGE-2ゲインを観測する。
  論文  参考訳（メタデータ） (2020-10-24T00:27:44Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• On Faithfulness and Factuality in Abstractive Summarization [17.261247316769484]
  我々は抽象文書要約のためのニューラルテキスト生成モデルの制約を解析した。 これらのモデルは、入力文書に反するコンテンツを幻覚させる傾向にあることがわかった。 テキスト・エンタテインメントの指標は,標準指標よりも忠実度と相関性が高いことを示す。
  論文  参考訳（メタデータ） (2020-05-02T00:09:16Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。