論文の概要: On Improving Summarization Factual Consistency from Natural Language Feedback

• arxiv url: http://arxiv.org/abs/2212.09968v2
• Date: Mon, 16 Oct 2023 04:31:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:31:13.335070
• Title: On Improving Summarization Factual Consistency from Natural Language Feedback
• Title（参考訳）: 自然言語フィードバックによる要約ファクト一貫性の改善について
• Authors: Yixin Liu, Budhaditya Deb, Milagro Teruel, Aaron Halfaker, Dragomir Radev, Ahmed H. Awadallah
• Abstract要約: 自然言語における情報フィードバックが生成品質とユーザの嗜好の整合性を改善するために活用できるかどうかを検討する。 人間の実演と情報自然言語フィードバックを含む高品質なデータセットであるDeFactoを収集する。 DeFactoは、現実的に一貫性のある人文編集の要約を提供することができる。
• 参考スコア（独自算出の注目度）: 35.03102318835244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent progress in language generation models, their outputs may not always meet user expectations. In this work, we study whether informational feedback in natural language can be leveraged to improve generation quality and user preference alignment. To this end, we consider factual consistency in summarization, the quality that the summary should only contain information supported by the input documents, as the user-expected preference. We collect a high-quality dataset, DeFacto, containing human demonstrations and informational natural language feedback consisting of corrective instructions, edited summaries, and explanations with respect to the factual consistency of the summary. Using our dataset, we study three natural language generation tasks: (1) editing a summary by following the human feedback, (2) generating human feedback for editing the original summary, and (3) revising the initial summary to correct factual errors by generating both the human feedback and edited summary. We show that DeFacto can provide factually consistent human-edited summaries and further insights into summarization factual consistency thanks to its informational natural language feedback. We further demonstrate that fine-tuned language models can leverage our dataset to improve the summary factual consistency, while large language models lack the zero-shot learning ability in our proposed tasks that require controllable text generation.
• Abstract（参考訳）: 言語生成モデルの最近の進歩にもかかわらず、そのアウトプットは常にユーザの期待に応えるとは限らない。 本研究では,自然言語における情報フィードバックを利用して生成品質とユーザ嗜好の整合性を向上させることができるかを検討する。 この目的のために、要約における事実整合性、要約が入力文書でサポートされている情報のみを含むべき品質を、ユーザが予測した嗜好として考慮する。 要約文と要約文,要約文の編集,要約の事実的一貫性に関する説明からなる,人間のデモンストレーションと情報的自然言語フィードバックを含む,質の高いデータセットであるデファクトを収集した。 本研究では,(1)人的フィードバックによる要約の編集,(2)原要約の編集のための人的フィードバックの生成,(3)人的フィードバックと編集要約の両方を生成して事実的誤りを訂正するための最初の要約の修正,の3つの自然言語生成タスクについて検討した。 DeFactoは、その情報的自然言語フィードバックのおかげで、現実的に一貫性のある要約や、要約の事実整合性に関するさらなる洞察を提供することができる。 さらに,制御可能なテキスト生成を必要とするタスクにおいて,大規模言語モデルではゼロショット学習能力が欠如しているのに対して,微調整型言語モデルでは,データセットを活用して事実整合性を改善することができることを示す。

関連論文リスト

• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
  この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。 まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。 第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。 第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
  論文  参考訳（メタデータ） (2023-05-01T17:36:06Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
  本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。 我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-10-04T19:52:09Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。