論文の概要: Improving Factuality of Abstractive Summarization via Contrastive Reward
Learning
- arxiv url: http://arxiv.org/abs/2307.04507v1
- Date: Mon, 10 Jul 2023 12:01:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 13:10:37.593223
- Title: Improving Factuality of Abstractive Summarization via Contrastive Reward
Learning
- Title(参考訳): コントラスト的報酬学習による抽象要約の事実性の向上
- Authors: I-Chun Chern, Zhiruo Wang, Sanjan Das, Bhavuk Sharma, Pengfei Liu and
Graham Neubig
- Abstract要約: 本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルだが効果的なコントラスト学習フレームワークを提案する。
実証的研究により,提案手法により,実測値のフィードバックから要約モデルを学習できることが実証された。
- 参考スコア(独自算出の注目度): 77.07192378869776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern abstractive summarization models often generate summaries that contain
hallucinated or contradictory information. In this paper, we propose a simple
but effective contrastive learning framework that incorporates recent
developments in reward learning and factuality metrics. Empirical studies
demonstrate that the proposed framework enables summarization models to learn
from feedback of factuality metrics using contrastive reward learning, leading
to more factual summaries by human evaluations. This suggests that further
advances in learning and evaluation algorithms can feed directly into providing
more factual summaries.
- Abstract(参考訳): 現代の抽象要約モデルは、しばしば幻覚的あるいは矛盾した情報を含む要約を生成する。
本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルで効果的なコントラスト学習フレームワークを提案する。
実証的研究により,提案フレームワークは,比較報酬学習を用いて実感指標のフィードバックから実感モデルの学習を可能にし,人的評価によるより実感的な要約につながることが示された。
これは、学習と評価アルゴリズムのさらなる進歩が、より現実的な要約を提供するために直接供給できることを示唆している。
関連論文リスト
- Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。
我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。
自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文 参考訳(メタデータ) (2023-05-31T21:04:04Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳(メタデータ) (2022-10-21T07:22:43Z) - CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in
Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。
参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文 参考訳(メタデータ) (2021-09-19T20:05:21Z) - Dialogue Summarization with Supporting Utterance Flow Modeling and Fact
Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。
サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。
事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文 参考訳(メタデータ) (2021-08-03T03:09:25Z) - Improving Factual Consistency of Abstractive Summarization via Question
Answering [25.725873545789046]
要約における事実整合性に対処するアプローチを提案する。
まず,実体整合性を測定するための効率的な自動評価指標を提案する。
次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T19:07:21Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-10-05T05:04:14Z) - Generating (Factual?) Narrative Summaries of RCTs: Experiments with
Neural Multi-Document Summarization [22.611879349101596]
系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。
現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
論文 参考訳(メタデータ) (2020-08-25T22:22:50Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳(メタデータ) (2020-03-19T07:36:10Z) - Learning by Semantic Similarity Makes Abstractive Summarization Better [13.324006587838522]
近年のLM, BART, およびベンチマークデータセットCNN/DMの参照要約を比較した。
興味深いことに、モデル生成サマリーは参照サマリーと比較して高いスコアを受け取る。
論文 参考訳(メタデータ) (2020-02-18T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。