論文の概要: Towards Improving Faithfulness in Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2210.01877v1
• Date: Tue, 4 Oct 2022 19:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:52:35.835307
• Title: Towards Improving Faithfulness in Abstractive Summarization
• Title（参考訳）: 抽象要約における忠実性向上に向けて
• Authors: Xiuying Chen, Mingzhe Li, Xin Gao, Xiangliang Zhang
• Abstract要約: 本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。 我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 37.19777407790153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success achieved in neural abstractive summarization based on pre-trained language models, one unresolved issue is that the generated summaries are not always faithful to the input document. There are two possible causes of the unfaithfulness problem: (1) the summarization model fails to understand or capture the gist of the input text, and (2) the model over-relies on the language model to generate fluent but inadequate words. In this work, we propose a Faithfulness Enhanced Summarization model (FES), which is designed for addressing these two problems and improving faithfulness in abstractive summarization. For the first problem, we propose to use question-answering (QA) to examine whether the encoder fully grasps the input document and can answer the questions on the key information in the input. The QA attention on the proper input words can also be used to stipulate how the decoder should attend to the source. For the second problem, we introduce a max-margin loss defined on the difference between the language and the summarization model, aiming to prevent the overconfidence of the language model. Extensive experiments on two benchmark summarization datasets, CNN/DM and XSum, demonstrate that our model significantly outperforms strong baselines. The evaluation of factual consistency also shows that our model generates more faithful summaries than baselines.
• Abstract（参考訳）: 事前訓練された言語モデルに基づく神経抽象的要約の成功にもかかわらず、未解決の問題は、生成された要約が入力文書に常に忠実であるとは限らないことである。 不適切な問題の原因は2つある:(1)要約モデルは入力テキストの要点を理解したり捉えたりできなかったり、(2)言語モデル上で過度に応答して不適切な単語を生成する。 本研究では、これらの2つの問題に対処し、抽象的な要約における忠実性を改善するために設計されたFES(Fithfulness Enhanced Summarization model)を提案する。 最初の問題として,エンコーダが入力文書を十分に把握し,入力のキー情報に関する質問に答えられるかどうかを調べるために質問回答(QA)を提案する。 適切な入力語に対するQAの注意は、デコーダがソースにどのように参加すべきかを規定するためにも使用できる。 2つ目の問題として,言語モデルと要約モデルの違いに基づいて,言語モデルの過度な信頼を抑えるために,最大マージン損失を導入する。 CNN/DMとXSumの2つのベンチマーク要約データセットに対する大規模な実験により、我々のモデルは強いベースラインを著しく上回ることを示した。 事実整合性の評価は,本モデルがベースラインよりも忠実な要約を生成することを示している。

関連論文リスト

• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Ask Again, Then Fail: Large Language Models' Vacillations in Judgment [28.74246375289661]
  我々は、現在の会話言語モデルが、フォローアップされた質問に直面すると、判断を揺るがすことが多いことを観察する。 我々は、この矛盾を定量化するための2つの指標とともに、textscFollow-up Questioning Mechanismを紹介した。 トレーニングベースのフレームワーク TextscUnwavering-FQ を開発した。
  論文  参考訳（メタデータ） (2023-10-03T16:08:41Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey [25.59111855107199]
  Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。 高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。 しかし、神経モデルの抽象化能力は二重刃の剣である。
  論文  参考訳（メタデータ） (2021-04-30T08:46:13Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。