論文の概要: Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences

• arxiv url: http://arxiv.org/abs/2212.09726v1
• Date: Mon, 19 Dec 2022 18:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 14:24:13.574097
• Title: Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences
• Title（参考訳）: 非関連文の共起効果制御による抽象要約の忠実度向上
• Authors: Asish Ghoshal, Arash Einolghozati, Ankit Arun, Haoran Li, Lili Yu, Yashar Mehdad, Scott Wen-tau Yih, Asli Celikyilmaz
• Abstract要約: 事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。 そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。 提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
• 参考スコア（独自算出の注目度）: 43.395865324147124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lack of factual correctness is an issue that still plagues state-of-the-art summarization systems despite their impressive progress on generating seemingly fluent summaries. In this paper, we show that factual inconsistency can be caused by irrelevant parts of the input text, which act as confounders. To that end, we leverage information-theoretic measures of causal effects to quantify the amount of confounding and precisely quantify how they affect the summarization performance. Based on insights derived from our theoretical results, we design a simple multi-task model to control such confounding by leveraging human-annotated relevant sentences when available. Crucially, we give a principled characterization of data distributions where such confounding can be large thereby necessitating the use of human annotated relevant sentences to generate factual summaries. Our approach improves faithfulness scores by 20\% over strong baselines on AnswerSumm \citep{fabbri2021answersumm}, a conversation summarization dataset where lack of faithfulness is a significant issue due to the subjective nature of the task. Our best method achieves the highest faithfulness score while also achieving state-of-the-art results on standard metrics like ROUGE and METEOR. We corroborate these improvements through human evaluation.
• Abstract（参考訳）: 事実の正確さの欠如は、一見流麗な要約を生成するという印象的な進歩にもかかわらず、未だに最先端の要約システムを悩ませている問題である。 本稿では,共同創設者として機能する入力テキストの無関係な部分によって,事実整合性が引き起こされることを示す。 そこで我々は,因果効果の情報理論的尺度を利用して,共起の量を定量化し,それらが要約性能に与える影響を正確に定量化する。 理論的な結果から得られた知見に基づいて,人間が記述した関連文を利用可能にすることで,そのような共起を制御できるシンプルなマルチタスクモデルを設計する。 重要な点として,このようなコンバウンディングが大きくなりうるデータ分布の原理的特徴付けを,人間の注釈付き関連文を用いて事実要約を生成する必要がある。 本手法は,タスクの主観的な性質から,信頼の欠如が重要な問題となる会話要約データセットであるAnswerSumm{fabbri2021answersumm}上で,強いベースラインに対する忠実度スコアを20 %向上させる。 本手法は,ROUGE や METEOR などの標準指標を用いて,高い忠実度を達成しつつ,最先端の成果を達成できる。 我々はこの改善を人間による評価によって裏付ける。

関連論文リスト

• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency [14.974996886744083]
  SummFCは,事実整合性を改善したフィルタされた要約データセットである。 我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
  論文  参考訳（メタデータ） (2022-10-31T15:04:20Z)
• CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning [5.389540975316299]
  生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。 本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。 本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T09:08:40Z)
• Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation [42.63902468258758]
  本稿では,テキスト要約における事実整合性を評価するための新しい指標を提案する。 我々は3つの公開抽象テキスト要約データセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2021-08-30T11:48:41Z)
• Improving Factual Consistency of Abstractive Summarization via Question Answering [25.725873545789046]
  要約における事実整合性に対処するアプローチを提案する。 まず,実体整合性を測定するための効率的な自動評価指標を提案する。 次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:07:21Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。