論文の概要: Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling

• arxiv url: http://arxiv.org/abs/2210.12378v1
• Date: Sat, 22 Oct 2022 07:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:59:38.870715
• Title: Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
• Title（参考訳）: 後編集と言語モデル入力による抽象要約における異種誤りの補正
• Authors: Vidhisha Balachandran, Hannaneh Hajishirzi, William Cohen, Yulia Tsvetkov
• Abstract要約: 提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
• 参考スコア（独自算出の注目度）: 56.70682379371534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstractive summarization models often generate inconsistent summaries containing factual errors or hallucinated content. Recent works focus on correcting factual errors in generated summaries via post-editing. Such correction models are trained using adversarial non-factual summaries constructed using heuristic rules for injecting errors. However, generating non-factual summaries using heuristics often does not generalize well to actual model errors. In this work, we propose to generate hard, representative synthetic examples of non-factual summaries through infilling language models. With this data, we train a more robust fact-correction model to post-edit the summaries to improve factual consistency. Through quantitative and qualitative experiments on two popular summarization datasets -- CNN/DM and XSum -- we show that our approach vastly outperforms prior methods in correcting erroneous summaries. Our model -- FactEdit -- improves factuality scores by over ~11 points on CNN/DM and over ~31 points on XSum on average across multiple summarization models, producing more factual summaries while maintaining competitive summarization quality.
• Abstract（参考訳）: 抽象要約モデルは、しばしば事実的誤りや幻覚的な内容を含む矛盾した要約を生成する。 最近の研究は、後編集による生成した要約の事実誤りの修正に重点を置いている。 このような補正モデルは、誤差を注入するためのヒューリスティックな規則を用いて構築された逆非実数和を用いて訓練される。 しかし、ヒューリスティックスを用いた非事実要約の生成は、実際のモデルエラーに対してうまく一般化しないことが多い。 そこで本研究では, 言語モデルを用いて, 非実例の難解な合成例を生成することを提案する。 このデータを使って、より堅牢な事実訂正モデルをトレーニングし、要約を後編集し、事実整合性を改善する。 CNN/DMとXSumという2つの一般的な要約データセットの定量的および定性的な実験を通して、我々のアプローチが誤要約の修正に先立つ方法を大幅に上回っていることを示す。 我々のモデル -- factedit -- は、cnn/dmで11点以上、xsumで31点以上、複数の要約モデルで平均的に改善し、競合的な要約品質を維持しながら、より事実的な要約を生成する。

関連論文リスト

• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Improving Factual Consistency in Summarization with Compression-Based Post-Editing [146.24839415743358]
  この問題に対処するためのモデルに依存しない方法は、生成された要約を後編集することであることを示す。 本稿では,文圧縮データを用いて後編集モデルを訓練し,特別なトークンでマークされた外在的エンティティエラーを要約する手法を提案する。 我々は,このモデルがROUGEを維持しながら事実整合性を向上し,XSum上でのエンティティ精度を最大30%向上し,他のポストエディタ上でも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T13:35:38Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization [6.017006996402699]
  我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。 参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
  論文  参考訳（メタデータ） (2021-09-19T20:05:21Z)
• Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
  実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。 要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。 我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-04-09T11:20:44Z)
• Factual Error Correction for Abstractive Summarization Models [41.77317902748772]
  本稿では,生成した要約の事実誤りを訂正するための編集後修正モジュールを提案する。 本モデルでは,他の神経要約モデルによって生成された要約の事実誤りを補正できることが示されている。 また、人工的なエラー訂正から下流の設定への移行は依然として非常に困難であることもわかりました。
  論文  参考訳（メタデータ） (2020-10-17T04:24:16Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。