論文の概要: AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
- arxiv url: http://arxiv.org/abs/2311.09521v3
- Date: Thu, 03 Oct 2024 21:36:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:07:18.713057
- Title: AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
- Title（参考訳）: AMRFact: AMR-Driven Negative Samples 生成による要約ファクチュアリティ評価の強化
- Authors: Haoyi Qiu, Kung-Hsiang Huang, Jingnong Qu, Nanyun Peng,
- Abstract要約: 抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
- 参考スコア（独自算出の注目度）: 57.8363998797433
- License:
- Abstract: Ensuring factual consistency is crucial for natural language generation tasks, particularly in abstractive summarization, where preserving the integrity of information is paramount. Prior works on evaluating factual consistency of summarization often take the entailment-based approaches that first generate perturbed (factual inconsistent) summaries and then train a classifier on the generated data to detect the factually inconsistencies during testing time. However, previous approaches generating perturbed summaries are either of low coherence or lack error-type coverage. To address these issues, we propose AMRFact, a framework that generates perturbed summaries using Abstract Meaning Representations (AMRs). Our approach parses factually consistent summaries into AMR graphs and injects controlled factual inconsistencies to create negative examples, allowing for coherent factually inconsistent summaries to be generated with high error-type coverage. Additionally, we present a data selection module NegFilter based on natural language inference and BARTScore to ensure the quality of the generated negative samples. Experimental results demonstrate our approach significantly outperforms previous systems on the AggreFact-SOTA benchmark, showcasing its efficacy in evaluating factuality of abstractive summarization.
- Abstract（参考訳）: 事実整合性の確保は、特に情報の整合性を維持することが最重要である抽象的な要約において、自然言語生成タスクにおいて重要である。
要約の事実整合性を評価する先行研究は、まず乱れた(実際の一貫性のない)要約を生成し、次に生成されたデータに分類器を訓練して、テスト期間中の事実整合性を検出する。
しかし、摂動要約を生成する以前のアプローチは、コヒーレンスが低いか、エラータイプのカバレッジがないかのいずれかである。
これらの問題に対処するために,抽象的意味表現(AMR)を用いて摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
さらに、自然言語推論とBARTScoreに基づくデータ選択モジュールNegFilterを提案し、生成した負のサンプルの品質を保証する。
実験の結果,AggreFact-SOTAベンチマークでは従来のシステムよりも有意に優れており,抽象的な要約の事実性を評価する上での有効性が示された。
関連論文リスト
- Improving Factual Error Correction for Abstractive Summarization via
Data Distillation and Conditional-generation Cloze [11.589564922148913]
まず,条件生成クローズタスクに基づく誤り訂正モデルFactClozeを提案する。
次に,より忠実な要約データセット SummDSC を生成するためのデータ蒸留手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T16:35:48Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳（メタデータ） (2023-05-23T22:11:47Z) - Questioning the Validity of Summarization Datasets and Improving Their
Factual Consistency [14.974996886744083]
SummFCは,事実整合性を改善したフィルタされた要約データセットである。
我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
論文 参考訳（メタデータ） (2022-10-31T15:04:20Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳（メタデータ） (2022-10-22T07:16:19Z) - Masked Summarization to Generate Factually Inconsistent Summaries for
Improved Factual Consistency Checking [28.66287193703365]
本稿では,キー情報を隠蔽したソーステキストと参照要約を用いて,現実的に一貫性のない要約を生成することを提案する。
7つのベンチマークデータセットを用いた実験により,提案手法を用いて生成した要約に基づいて訓練された実例整合性分類器が既存モデルを上回っていることが示された。
論文 参考訳（メタデータ） (2022-05-04T12:48:49Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳（メタデータ） (2020-10-06T02:51:02Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳（メタデータ） (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。