論文の概要: Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation

• arxiv url: http://arxiv.org/abs/2108.13134v1
• Date: Mon, 30 Aug 2021 11:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:47:22.427127
• Title: Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
• Title（参考訳）: 反事実推定によるテキスト要約の事実整合性評価
• Authors: Yuexiang Xie, Fei Sun, Yang Deng, Yaliang Li, Bolin Ding
• Abstract要約: 本稿では,テキスト要約における事実整合性を評価するための新しい指標を提案する。 我々は3つの公開抽象テキスト要約データセットについて一連の実験を行った。
• 参考スコア（独自算出の注目度）: 42.63902468258758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress has been achieved in text summarization, factual inconsistency in generated summaries still severely limits its practical applications. Among the key factors to ensure factual consistency, a reliable automatic evaluation metric is the first and the most crucial one. However, existing metrics either neglect the intrinsic cause of the factual inconsistency or rely on auxiliary tasks, leading to an unsatisfied correlation with human judgments or increasing the inconvenience of usage in practice. In light of these challenges, we propose a novel metric to evaluate the factual consistency in text summarization via counterfactual estimation, which formulates the causal relationship among the source document, the generated summary, and the language prior. We remove the effect of language prior, which can cause factual inconsistency, from the total causal effect on the generated summary, and provides a simple yet effective way to evaluate consistency without relying on other auxiliary tasks. We conduct a series of experiments on three public abstractive text summarization datasets, and demonstrate the advantages of the proposed metric in both improving the correlation with human judgments and the convenience of usage. The source code is available at https://github.com/xieyxclack/factual_coco.
• Abstract（参考訳）: テキスト要約における著しい進歩にもかかわらず、生成した要約の事実的不整合は、その実用的応用を厳しく制限している。 事実の一貫性を確保する上で重要な要因のひとつとして,信頼性の高い自動評価指標がある。 しかし、既存のメトリクスは、事実の不整合の本質的な原因を無視したり、補助的なタスクに依存するかのいずれかであり、人間の判断と不満足な相関や、実際の使用の不便さの増加につながる。 これらの課題に照らし合わせて,ソース文書と生成した要約文,および先行する言語間の因果関係を定式化した,反事実推定によるテキスト要約における事実整合性を評価するための新しい指標を提案する。 生成した要約に対する総因果効果から,事実的不整合の原因となる言語先行の効果を取り除き,他の補助タスクに頼らずに一貫性を評価するための簡易かつ効果的な方法を提供する。 我々は3つの公開抽象テキスト要約データセットについて一連の実験を行い、人間の判断との相関性の改善と使用の利便性の両面で提案手法の利点を実証した。 ソースコードはhttps://github.com/xieyxclack/factual_cocoで入手できる。

関連論文リスト

• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Counterfactual Debiasing for Generating Factually Consistent Text Summaries [46.88138136539263]
  我々は,抽象的なテキスト要約のための因果グラフを構築し,事実的矛盾の本質的な原因を同定する。 本稿では,これらのバイアスの因果的影響を,非現実的推定によって緩和する,CoFactSumという脱バイアスフレームワークを提案する。 広く使われている2つの要約データセットの実験は、CoFactSumの有効性を実証している。
  論文  参考訳（メタデータ） (2023-05-18T06:15:45Z)
• Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences [38.919090721583075]
  事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。 そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。 提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
  論文  参考訳（メタデータ） (2022-12-19T18:51:06Z)
• Improving Factual Consistency of Abstractive Summarization via Question Answering [25.725873545789046]
  要約における事実整合性に対処するアプローチを提案する。 まず,実体整合性を測定するための効率的な自動評価指標を提案する。 次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:07:21Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。