論文の概要: AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven Training Data Generation

• arxiv url: http://arxiv.org/abs/2311.09521v1
• Date: Thu, 16 Nov 2023 02:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:51:46.797822
• Title: AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven Training Data Generation
• Title（参考訳）: AMRFact:AMR駆動トレーニングデータ生成による要約ファクチュアリティ評価の強化
• Authors: Haoyi Qiu, Kung-Hsiang Huang, Jingnong Qu, Nanyun Peng
• Abstract要約: 本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。 提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。 提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 63.18211192998151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring factual consistency is crucial in various natural language processing tasks, particularly in abstractive summarization, where preserving the integrity of information is paramount. Prior entailment-based approaches often generate factually inconsistent summaries and then train a classifier on the generated data. However, summaries produced by these approaches are either of low coherence or lack error-type coverage. To address these issues, we propose AMRFact, a novel framework that generates factually inconsistent summaries using Abstract Meaning Representation (AMR). Our approach parses factually correct summaries into AMR graphs and injects controlled factual inconsistencies to create negative examples, allowing for coherent factually inconsistent summaries to be generated with high error-type coverage. Additionally, we present a data selection module NegFilter based on natural language inference and BARTScore to ensure the quality of the generated negative samples. Experimental results demonstrate that our approach significantly outperforms previous systems on the AggreFact-SOTA dataset, showcasing its efficacy in assessing factuality in abstractive summarization.
• Abstract（参考訳）: 事実整合性の確保は様々な自然言語処理タスク、特に情報の整合性の維持が最重要である抽象的な要約において重要である。 先入観に基づくアプローチは、しばしば事実上矛盾した要約を生成し、生成したデータに対して分類器を訓練する。 しかし、これらの手法によって生成された要約は、コヒーレンスが低いか、エラータイプのカバレッジがないかのいずれかである。 これらの問題に対処するために,抽象的意味表現(AMR)を用いて現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。 提案手法は,事実的に正しい要約をamrグラフに解析し,制御された事実的不整合を注入して否定的な例を生成する。 さらに、自然言語推論とBARTScoreに基づくデータ選択モジュールNegFilterを提案し、生成した負のサンプルの品質を保証する。 実験結果から,AggreFact-SOTAデータセットにおける従来のシステムよりも有意に優れており,抽象要約における事実性評価の有効性が示された。

関連論文リスト

• Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze [11.589564922148913]
  まず,条件生成クローズタスクに基づく誤り訂正モデルFactClozeを提案する。 次に,より忠実な要約データセット SummDSC を生成するためのデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T16:35:48Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency [14.974996886744083]
  SummFCは,事実整合性を改善したフィルタされた要約データセットである。 我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
  論文  参考訳（メタデータ） (2022-10-31T15:04:20Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking [28.66287193703365]
  本稿では,キー情報を隠蔽したソーステキストと参照要約を用いて,現実的に一貫性のない要約を生成することを提案する。 7つのベンチマークデータセットを用いた実験により,提案手法を用いて生成した要約に基づいて訓練された実例整合性分類器が既存モデルを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-05-04T12:48:49Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。