論文の概要: Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization

• arxiv url: http://arxiv.org/abs/2209.03549v1
• Date: Thu, 8 Sep 2022 03:25:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 12:32:06.650678
• Title: Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization
• Title（参考訳）: 抽出は忠実ではない:抽出要約における幅広い不誠実性問題の検討
• Authors: Shiyue Zhang, David Wan, Mohit Bansal
• Abstract要約: 本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
• 参考スコア（独自算出の注目度）: 91.86501509439815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problems of unfaithful summaries have been widely discussed under the context of abstractive summarization. Though extractive summarization is less prone to the common unfaithfulness issues of abstractive summaries, does that mean extractive is equal to faithful? Turns out that the answer is no. In this work, we define a typology with five types of broad unfaithfulness problems (including and beyond not-entailment) that can appear in extractive summaries, including incorrect coreference, incomplete coreference, incorrect discourse, incomplete discourse, as well as other misleading information. We ask humans to label these problems out of 1500 English summaries produced by 15 diverse extractive systems. We find that 33% of the summaries have at least one of the five issues. To automatically detect these problems, we find that 5 existing faithfulness evaluation metrics for summarization have poor correlations with human judgment. To remedy this, we propose a new metric, ExtEval, that is designed for detecting unfaithful extractive summaries and is shown to have the best performance. We hope our work can increase the awareness of unfaithfulness problems in extractive summarization and help future work to evaluate and resolve these issues. Our data and code are publicly available at https://github.com/ZhangShiyue/extractive_is_not_faithful
• Abstract（参考訳）: 不誠実な要約の問題は抽象的な要約の文脈で広く議論されてきた。 抽出的要約は抽象的要約の一般的な不利な問題よりも少ないが、抽出的要約は忠実であることを意味するのだろうか? 答えはノーであることが判明した。 本研究では,不正確なコリファレンス,不完全コリファレンス,不正確な談話,不完全な談話,不完全な談話,その他の誤解を招く情報を含む,抽出要約に現れる5種類の広範な不満足な問題(補足を含む,補足しないものを含む)の類型を定義する。 15種類の抽出システムによって生成された1500の英語サマリーのうち、これらの問題を人間にラベル付けするよう求めた。 要約の33%は、少なくとも5つの問題のうちの1つを持っている。 これらの問題を自動的に検出するため、5つの既存忠実度評価指標が人間の判断とあまり相関しないことがわかった。 そこで本研究では,不誠実な抽出サマリーを検出するための新しい指標ExtEvalを提案する。 我々の研究が、抽出的な要約における不誠実な問題に対する認識を高め、これらの問題を評価し解決する将来の作業を支援することを願っている。 私たちのデータとコードはhttps://github.com/zhangshiyue/extractive_is_not_faithfulで公開されている。

関連論文リスト

• FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
  本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
  論文  参考訳（メタデータ） (2024-04-01T17:33:38Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization [44.835811239393244]
  文要約は、テキストの中核的な内容を維持しながら与えられたテキストを短縮する。 人書きの要約のないテキストを要約するために、教師なしのアプローチが研究されている。 本研究では, 基礎構造を含まない強化学習に基づく抽象モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:34:28Z)
• Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences [38.919090721583075]
  事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。 そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。 提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
  論文  参考訳（メタデータ） (2022-12-19T18:51:06Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• AnswerSumm: A Manually-Curated Dataset and Pipeline for Answer Summarization [73.91543616777064]
  Stack OverflowやYahoo!のようなコミュニティ質問回答(CQA)フォーラムには、幅広いコミュニティベースの質問に対する回答の豊富なリソースが含まれている。 回答の要約の1つのゴールは、回答の視点の範囲を反映した要約を作成することである。 本研究は,専門言語学者による解答要約のための4,631個のCQAスレッドからなる新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2021-11-11T21:48:02Z)
• FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization [34.2456005415483]
  我々は,その資料から生成した要約の忠実さを評価する問題に取り組む。 現在のモデルでは、抽象性と忠実性のトレードオフが示されています。 本稿では,信頼度を基準とした質問応答(QA)尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:00:08Z)
• At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization [110.54963847339775]
  本研究は,全文を抽出する際,不必要な問題や冗長性が存在することを示す。 選挙区解析木に基づくサブセグメント単位の抽出を提案する。
  論文  参考訳（メタデータ） (2020-04-06T13:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。