論文の概要: Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization

• arxiv url: http://arxiv.org/abs/2205.06009v1
• Date: Thu, 12 May 2022 10:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 20:21:57.718417
• Title: Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization
• Title（参考訳）: Falsesum:要約におけるFactual Unconsistency認識のための文書レベルのNLI例の生成
• Authors: Prasetya Ajie Utama, Joshua Bambrick, Nafise Sadat Moosavi, Iryna Gurevych
• Abstract要約: 高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 63.21819285337555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural abstractive summarization models are prone to generate summaries which are factually inconsistent with their source documents. Previous work has introduced the task of recognizing such factual inconsistency as a downstream application of natural language inference (NLI). However, state-of-the-art NLI models perform poorly in this context due to their inability to generalize to the target task. In this work, we show that NLI models can be effective for this task when the training data is augmented with high-quality task-oriented examples. We introduce Falsesum, a data generation pipeline leveraging a controllable text generation model to perturb human-annotated summaries, introducing varying types of factual inconsistencies. Unlike previously introduced document-level NLI datasets, our generated dataset contains examples that are diverse and inconsistent yet plausible. We show that models trained on a Falsesum-augmented NLI dataset improve the state-of-the-art performance across four benchmarks for detecting factual inconsistency in summarization. The code to obtain the dataset is available online at https://github.com/joshbambrick/Falsesum
• Abstract（参考訳）: ニューラルネットワークの抽象要約モデルは、ソースドキュメントと事実上矛盾する要約を生成する傾向があります。 これまでの研究は、自然言語推論(NLI)の下流適用として、そのような事実的矛盾を認識するタスクを導入してきた。 しかし、現状のNLIモデルは、ターゲットタスクに一般化できないため、この文脈では不十分である。 本研究では,学習データを高品質なタスク指向の例で拡張した場合に,NLIモデルがこのタスクに有効であることを示す。 我々は,人間の注釈付き要約を乱すための制御可能なテキスト生成モデルを活用したデータ生成パイプラインであるfalsesumを導入する。 これまで導入されたドキュメントレベルのnliデータセットと異なり、生成されたデータセットには、多様で一貫性のない、しかも妥当な例が含まれています。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルを用いて,4つのベンチマークを用いて,要約における事実整合性を検出する。 データセットを取得するコードはhttps://github.com/joshbambrick/falsesumで入手できる。

関連論文リスト

• TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models [20.09470051458651]
  本稿では,多種多様なモデル生成要約を注釈付けして合成データを生成する方法であるTrueTeacherを紹介する。 以前の作業とは異なり、TrueTeacherは人間が書いた要約に頼らず、本質的に多言語である。
  論文  参考訳（メタデータ） (2023-05-18T17:58:35Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning [40.5830891229718]
  本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。 様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T08:04:36Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking [28.66287193703365]
  本稿では,キー情報を隠蔽したソーステキストと参照要約を用いて,現実的に一貫性のない要約を生成することを提案する。 7つのベンチマークデータセットを用いた実験により,提案手法を用いて生成した要約に基づいて訓練された実例整合性分類器が既存モデルを上回っていることが示された。
  論文  参考訳（メタデータ） (2022-05-04T12:48:49Z)
• SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization [27.515873862013006]
  要約の鍵となる要件は、実際に入力文書と整合性を持つことである。 これまでの研究では、不整合検出に適用した場合、自然言語推論モデルが競合的に動作しないことが判明した。 我々は,NLIモデルがこのタスクに有効に使用できるSummaCConvという,高効率で軽量な手法を提案する。
  論文  参考訳（メタデータ） (2021-11-18T05:02:31Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Adversarial NLI for Factual Correctness in Text Summarisation Models [0.0]
  我々はNLIモデルのトレーニングにAdversarial NLIデータセットを適用した。 このモデルには抽象要約における事実的正当性を高める可能性があることが示される。
  論文  参考訳（メタデータ） (2020-05-24T13:02:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。