論文の概要: Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback
- arxiv url: http://arxiv.org/abs/2306.00186v1
- Date: Wed, 31 May 2023 21:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 19:29:28.131629
- Title: Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback
- Title(参考訳): テキスト内包フィードバックによる強化学習による事実に一貫性のある要約
- Authors: Paul Roit, Johan Ferret, Lior Shani, Roee Aharoni, Geoffrey Cideron,
Robert Dadashi, Matthieu Geist, Sertan Girgin, L\'eonard Hussenot, Orgad
Keller, Nikola Momchev, Sabela Ramos, Piotr Stanczyk, Nino Vieillard, Olivier
Bachem, Gal Elidan, Avinatan Hassidim, Olivier Pietquin and Idan Szpektor
- Abstract要約: 我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。
我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。
自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
- 参考スコア(独自算出の注目度): 57.816210168909286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the seeming success of contemporary grounded text generation systems,
they often tend to generate factually inconsistent text with respect to their
input. This phenomenon is emphasized in tasks like summarization, in which the
generated summaries should be corroborated by their source article. In this
work, we leverage recent progress on textual entailment models to directly
address this problem for abstractive summarization systems. We use
reinforcement learning with reference-free, textual entailment rewards to
optimize for factual consistency and explore the ensuing trade-offs, as
improved consistency may come at the cost of less informative or more
extractive summaries. Our results, according to both automatic metrics and
human evaluation, show that our method considerably improves the faithfulness,
salience, and conciseness of the generated summaries.
- Abstract(参考訳): 現代のテキスト生成システムが成功しているように見えるが、入力に関して現実的に矛盾するテキストを生成する傾向がある。
この現象は要約のようなタスクで強調され、生成した要約はソース記事によって裏付けられるべきである。
本研究は,テキストエンテーメントモデルにおける最近の進歩を活用し,抽象的な要約システムにおいてこの問題に対処する。
私たちは、参照のないテキストによるインセンティブによる強化学習を使用して、事実整合性を最適化し、結果として生じるトレードオフを探求します。
提案手法は,自動測定と人的評価の両方により,生成した要約の忠実さ,敬礼,簡潔さが大幅に向上することを示す。
関連論文リスト
- Improving Factuality of Abstractive Summarization via Contrastive Reward
Learning [77.07192378869776]
本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルだが効果的なコントラスト学習フレームワークを提案する。
実証的研究により,提案手法により,実測値のフィードバックから要約モデルを学習できることが実証された。
論文 参考訳(メタデータ) (2023-07-10T12:01:18Z) - SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳(メタデータ) (2023-05-24T07:40:06Z) - The Exploration of Knowledge-Preserving Prompts for Document
Summarisation [9.580602790508141]
本研究は,事実知識を生成要約に組み込むプロンプトの導入の可能性を探るものである。
実験の結果,訓練可能な接頭辞は,個別のプロンプトから情報を正確に抽出する上で有効であることがわかった。
生成された要約のROUGEの改善は、要約プロセスに事実知識を明示的に付加することで、全体的なパフォーマンスが向上することを示している。
論文 参考訳(メタデータ) (2023-01-27T14:05:12Z) - Generating Multiple-Length Summaries via Reinforcement Learning for
Unsupervised Sentence Summarization [44.835811239393244]
文要約は、テキストの中核的な内容を維持しながら与えられたテキストを短縮する。
人書きの要約のないテキストを要約するために、教師なしのアプローチが研究されている。
本研究では, 基礎構造を含まない強化学習に基づく抽象モデルを提案する。
論文 参考訳(メタデータ) (2022-12-21T08:34:28Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳(メタデータ) (2022-10-21T07:22:43Z) - Contextualized Rewriting for Text Summarization [10.666547385992935]
グループアライメントを伴うSeq2seq問題として書き換える。
その結果,本手法は非テキスト化書き換えシステムよりも大幅に優れていることがわかった。
論文 参考訳(メタデータ) (2021-01-31T05:35:57Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳(メタデータ) (2020-04-30T15:37:38Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳(メタデータ) (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。