論文の概要: FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2205.07830v1
• Date: Mon, 16 May 2022 17:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 13:30:20.594085
• Title: FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
• Title（参考訳）: FactPEGASUS:抽象要約のためのファクタリティを考慮した事前学習と微調整
• Authors: David Wan, Mohit Bansal
• Abstract要約: 本稿では,FactPEGについて述べる。FactPEGは,事前学習と微調整における現実性の問題に対処する抽象的な要約モデルである。 分析の結果,FactPEGはゼロショットやスプリショットの設定において,本来の事前学習目標よりも現実的であることが示唆された。
• 参考スコア（独自算出の注目度）: 91.46015013816083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FactPEGASUS, an abstractive summarization model that addresses the problem of factuality during pre-training and fine-tuning: (1) We augment the sentence selection strategy of PEGASUS's (Zhang et al., 2020) pre-training objective to create pseudo-summaries that are both important and factual; (2) We introduce three complementary components for fine-tuning. The corrector removes hallucinations present in the reference summary, the contrastor uses contrastive learning to better differentiate nonfactual summaries from factual ones, and the connector bridges the gap between the pre-training and fine-tuning for better transfer of knowledge. Experiments on three downstream tasks demonstrate that FactPEGASUS substantially improves factuality evaluated by multiple automatic metrics and humans. Our thorough analysis suggests that FactPEGASUS is more factual than using the original pre-training objective in zero-shot and few-shot settings, retains factual behavior more robustly than strong baselines, and does not rely entirely on becoming more extractive to improve factuality. Our code and data are publicly available at: https://github.com/meetdavidwan/factpegasus
• Abstract（参考訳）: 我々は,(1)ペガサス(zhang et al., 2020)の文選択戦略を補強し,重要かつ事実である疑似要約を作成すること,(2)微調整のための3つの補完的要素を導入すること,という,事前学習と微調整の間の事実性の問題に対処する抽象的要約モデルであるfactpegasusを提案する。 補正器は、参照要約に存在する幻覚を取り除き、対比器は、非事実要約と事実要約とをよりよく区別するためにコントラスト学習を使用し、コネクタは、知識の伝達を改善するために、事前訓練と微調整の間のギャップを橋渡しする。 3つの下流タスクの実験により、FactPEGASUSは複数の自動メトリクスと人間によって評価された事実性を大幅に改善することを示した。 分析の結果,FactPEGASUSはゼロショットや少数ショットの設定において,本来の事前学習目標よりも現実的であり,強靭なベースラインよりも現実的行動が頑健であり,事実性の向上に全力を注いでいないことが示唆された。 私たちのコードとデータは、https://github.com/meetdavidwan/factpegasusで公開されている。

関連論文リスト

• Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models [31.84120883461332]
  我々は、微調整に基づく要約モデルの頑健さと知識衝突を解析する。 本稿では,制御可能な対実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:53:39Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality [27.57037141986362]
  我々は,要約品質を犠牲にすることなく,要約事実性を改善するためのEFACTSUM(Effective Factual Summarization)を提案する。 比較学習フレームワークを改良した候補サマリーと組み合わせることで,実感と類似度に基づく測定値の両方が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:15:17Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Counterfactual Data Augmentation improves Factuality of Abstractive Summarization [6.745946263790011]
  提案手法によりトレーニングデータを増強することにより,ROUGEスコアに大きな影響を及ぼすことなく,要約の事実的正しさが向上することを示す。 一般的に使われている2つの要約データセット(CNN/Dailymail と XSum)では,平均2.5ポイント程度で事実の正しさが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-25T00:00:35Z)
• CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization [11.033949886530225]
  CO2Sumは、シーケンス・ツー・シーケンス・モデルに容易に適用可能なコントラスト学習方式である。 公開ベンチマークの実験では、CO2Sumは大規模な事前訓練された言語モデルの忠実性を改善することが示されている。
  論文  参考訳（メタデータ） (2021-12-02T11:52:01Z)
• CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization [6.017006996402699]
  我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。 参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
  論文  参考訳（メタデータ） (2021-09-19T20:05:21Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。