論文の概要: Improving Factual Consistency in Summarization with Compression-Based
Post-Editing
- arxiv url: http://arxiv.org/abs/2211.06196v1
- Date: Fri, 11 Nov 2022 13:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 16:13:49.392417
- Title: Improving Factual Consistency in Summarization with Compression-Based
Post-Editing
- Title(参考訳): 圧縮後編集による要約における事実整合性の向上
- Authors: Alexander R. Fabbri, Prafulla Kumar Choubey, Jesse Vig, Chien-Sheng
Wu, Caiming Xiong
- Abstract要約: この問題に対処するためのモデルに依存しない方法は、生成された要約を後編集することであることを示す。
本稿では,文圧縮データを用いて後編集モデルを訓練し,特別なトークンでマークされた外在的エンティティエラーを要約する手法を提案する。
我々は,このモデルがROUGEを維持しながら事実整合性を向上し,XSum上でのエンティティ精度を最大30%向上し,他のポストエディタ上でも適用可能であることを示す。
- 参考スコア(独自算出の注目度): 146.24839415743358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art summarization models still struggle to be factually
consistent with the input text. A model-agnostic way to address this problem is
post-editing the generated summaries. However, existing approaches typically
fail to remove entity errors if a suitable input entity replacement is not
available or may insert erroneous content. In our work, we focus on removing
extrinsic entity errors, or entities not in the source, to improve consistency
while retaining the summary's essential information and form. We propose to use
sentence-compression data to train the post-editing model to take a summary
with extrinsic entity errors marked with special tokens and output a
compressed, well-formed summary with those errors removed. We show that this
model improves factual consistency while maintaining ROUGE, improving entity
precision by up to 30% on XSum, and that this model can be applied on top of
another post-editor, improving entity precision by up to a total of 38%. We
perform an extensive comparison of post-editing approaches that demonstrate
trade-offs between factual consistency, informativeness, and grammaticality,
and we analyze settings where post-editors show the largest improvements.
- Abstract(参考訳): 最先端の要約モデルはまだ入力テキストと事実上の一貫性に苦慮している。
この問題に対処するモデル非依存の方法は、生成された要約の編集後である。
しかし、既存のアプローチでは、適切な入力エンティティ置換が利用できない場合や誤ったコンテンツが挿入されない場合、エンティティエラーを取り除くことができない。
本研究では,外部エンティティエラーやソースにないエンティティを削除して,要約の本質的な情報や形式を維持しながら一貫性を向上させることに重点を置いている。
本稿では,文圧縮データを用いてポスト編集モデルを訓練し,特殊トークンでマークされた外部エンティティエラーを要約し,そのエラーを除去した圧縮された要約文を出力することを提案する。
我々は,このモデルがROUGEを維持しながら事実整合性を向上し,XSum上でのエンティティ精度を最大30%向上し,他のポストエディタ上でも適用可能であることを示し,エンティティ精度を最大38%向上することを示した。
我々は、事実整合性、情報性、文法性のトレードオフを示す後編集アプローチを広範囲に比較し、後編集者が最大の改善を示す設定を分析する。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳(メタデータ) (2022-10-22T07:16:19Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Masked Summarization to Generate Factually Inconsistent Summaries for
Improved Factual Consistency Checking [28.66287193703365]
本稿では,キー情報を隠蔽したソーステキストと参照要約を用いて,現実的に一貫性のない要約を生成することを提案する。
7つのベンチマークデータセットを用いた実験により,提案手法を用いて生成した要約に基づいて訓練された実例整合性分類器が既存モデルを上回っていることが示された。
論文 参考訳(メタデータ) (2022-05-04T12:48:49Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳(メタデータ) (2022-04-18T11:35:02Z) - Factual Error Correction for Abstractive Summarization Models [41.77317902748772]
本稿では,生成した要約の事実誤りを訂正するための編集後修正モジュールを提案する。
本モデルでは,他の神経要約モデルによって生成された要約の事実誤りを補正できることが示されている。
また、人工的なエラー訂正から下流の設定への移行は依然として非常に困難であることもわかりました。
論文 参考訳(メタデータ) (2020-10-17T04:24:16Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳(メタデータ) (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。