論文の概要: Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2108.13684v1
• Date: Tue, 31 Aug 2021 08:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 14:32:38.822776
• Title: Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization
• Title（参考訳）: 忠実か抽出的か? 抽象要約における信条-抽象性トレードオフの緩和について
• Authors: Faisal Ladhak and Esin Durmus and He He and Claire Cardie and Kathleen McKeown
• Abstract要約: 本稿では,要約システムの有効忠実度を評価するための枠組みを提案する。 我々は,同レベルの抽象性のコントロールよりも,信頼度・強引性トレードオフを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 38.11686971309104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent progress in abstractive summarization, systems still suffer from faithfulness errors. While prior work has proposed models that improve faithfulness, it is unclear whether the improvement comes from an increased level of extractiveness of the model outputs as one naive way to improve faithfulness is to make summarization models more extractive. In this work, we present a framework for evaluating the effective faithfulness of summarization systems, by generating a faithfulnessabstractiveness trade-off curve that serves as a control at different operating points on the abstractiveness spectrum. We then show that the Maximum Likelihood Estimation (MLE) baseline as well as a recently proposed method for improving faithfulness, are both worse than the control at the same level of abstractiveness. Finally, we learn a selector to identify the most faithful and abstractive summary for a given document, and show that this system can attain higher faithfulness scores in human evaluations while being more abstractive than the baseline system on two datasets. Moreover, we show that our system is able to achieve a better faithfulness-abstractiveness trade-off than the control at the same level of abstractiveness.
• Abstract（参考訳）: 抽象要約の最近の進歩にもかかわらず、システムは依然として忠実な誤りに苦しんでいる。 先行研究では忠実度を改善するモデルが提案されているが、忠実度を改善するための簡単な方法として、モデル出力の抽出レベルの向上による改善が、要約モデルをより抽出的になるかどうかは不明である。 本研究では,抽象度スペクトルの異なる操作点における制御として機能する信頼度適応性トレードオフ曲線を生成することにより,要約システムの有効忠実度を評価するための枠組みを提案する。 その結果,mle(maximum likelihood estimation)のベースラインと,最近提案された忠実性向上法が,同じ抽象性レベルでの制御よりも悪いことがわかった。 最後に、ある文書に対して最も忠実で抽象的な要約を識別するセレクタを学習し、2つのデータセットのベースラインシステムよりも抽象的でありながら、人間の評価において高い忠実度を得られることを示す。 さらに,本システムでは,同じ抽象性のレベルでの制御よりも,忠実・強引なトレードオフを達成可能であることを示す。

関連論文リスト

• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality [27.57037141986362]
  我々は,要約品質を犠牲にすることなく,要約事実性を改善するためのEFACTSUM(Effective Factual Summarization)を提案する。 比較学習フレームワークを改良した候補サマリーと組み合わせることで,実感と類似度に基づく測定値の両方が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:15:17Z)
• Faithfulness-Aware Decoding Strategies for Abstractive Summarization [72.74188956905712]
  本研究では,ビームサーチや核サンプリングなどの生成技術が抽象的な要約における忠実性に及ぼす影響について検討する。 本稿では,現在の生成技術よりも忠実性を高めるための2つの忠実度認識生成手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T16:49:27Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control [27.214742188672464]
  エンティティカバレッジ制御(ECC)を用いたエンティティレベルの幻覚の治療法を提案する。 ECCはエンティティカバレッジの精度を計算し、トレーニング例ごとに対応する制御コードをプリペンドする。 提案手法は,教師付き微調整およびゼロショット設定において,より忠実かつ健全な抽象的要約をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-05T18:52:19Z)
• Improving Multi-Document Summarization through Referenced Flexible Extraction with Credit-Awareness [21.037841262371355]
  MDS(Multi-Document Summarization)における注目すべき課題は、入力の非常に長い長さである。 本稿では,この問題を克服するための抽出・抽出・吸収変換器フレームワークを提案する。 擬似抽出オラクルにない文の不等式の重要性をモデルに認識させる損失重み付け機構を提案する。
  論文  参考訳（メタデータ） (2022-05-04T04:40:39Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization [20.83986393847262]
  複数のデータセットやモデル間で生成された要約の抽象性と事実性のトレードオフを分析する。 抽象性の度合いを調節する新しい事実性指標を提案する。
  論文  参考訳（メタデータ） (2021-08-05T21:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。