論文の概要: SummIt: Iterative Text Summarization via ChatGPT

• arxiv url: http://arxiv.org/abs/2305.14835v1
• Date: Wed, 24 May 2023 07:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 18:42:54.675754
• Title: SummIt: Iterative Text Summarization via ChatGPT
• Title（参考訳）: SummIt: ChatGPTによる反復的なテキスト要約
• Authors: Haopeng Zhang, Xiao Liu, Jiawei Zhang
• Abstract要約: SummItはChatGPTのような大規模言語モデルに基づいた反復的なテキスト要約フレームワークである。 我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。 3つのベンチマーク要約データセット上で,本フレームワークの性能評価を行った。
• 参考スコア（独自算出の注目度）: 14.930704950433324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing text summarization systems have made significant progress in recent years but typically generates summaries in a single step. The one-shot summarization setting is sometimes inadequate, however, as the generated summary may contain hallucinations or overlook important details related to the reader's interests. In this paper, we address this limitation by proposing SummIt, an iterative text summarization framework based on large language models like ChatGPT. Our framework enables the model to refine the generated summary iteratively through self-evaluation and feedback, closely resembling the iterative process humans undertake when drafting and revising summaries. We also explore using in-context learning to guide the rationale generation and summary refinement. Furthermore, we explore the potential benefits of integrating knowledge and topic extractors into the framework to enhance summary faithfulness and controllability. We evaluate the performance of our framework on three benchmark summarization datasets through empirical and qualitative analyses. We also conduct a human evaluation to validate the effectiveness of the model's refinements and find a potential issue of over-correction. Our code is available at \url{https://github.com/hpzhang94/summ_it}.
• Abstract（参考訳）: 既存のテキスト要約システムは近年大きく進歩しているが、通常は単一のステップで要約を生成する。 ワンショット要約設定は時々不適切であるが、生成された要約には幻覚が含まれているか、読者の興味に関連する重要な詳細を見落としている可能性がある。 本稿では,chatgpt のような大規模言語モデルに基づく反復的テキスト要約フレームワーク summit を提案することで,この制限に対処する。 私たちのフレームワークは,生成した要約を自己評価とフィードバックを通じて反復的に洗練することを可能にします。 また、文脈内学習を用いて、合理的な生成と要約の洗練を導くことも検討する。 さらに,本フレームワークに知識とトピック抽出器を統合することにより,要約忠実度と可制御性を向上する可能性についても検討する。 実験および定性分析により,3つのベンチマーク要約データセット上でのフレームワークの性能を評価する。 また、モデルの改良の有効性を検証し、過剰補正の潜在的な問題を見つけるために人的評価を行う。 私たちのコードは \url{https://github.com/hpzhang94/summ_it} で利用可能です。

関連論文リスト

• Write Summary Step-by-Step: A Pilot Study of Stepwise Summarization [48.57273563299046]
  本稿では,新たな文書が提案されるたびに追加の要約を生成するステップワイド要約の課題を提案する。 追加された要約は、新たに追加されたコンテンツを要約するだけでなく、以前の要約と一貫性を持たなければならない。 SSGは,自動計測と人的評価の両面から,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-08T05:37:26Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics [1.5749416770494706]
  多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。 MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
  論文  参考訳（メタデータ） (2022-10-25T17:09:08Z)
• A General Contextualized Rewriting Framework for Text Summarization [15.311467109946571]
  抽出文は比較的焦点が当てられているが、背景知識や談話の文脈が失われる可能性がある。 コンテントベースのアドレッシングによって抽出文を識別し、グループタグアライメントを施したSeq2seqとしてコンテクスト化された書き直しを形式化する。 その結果,本手法は強化学習を必要とせず,非コンテクスチュアライズされた書き換えシステムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-13T03:55:57Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• RetrievalSum: A Retrieval Enhanced Framework for Abstractive Summarization [25.434558112121778]
  本稿では,高密度Retriever と Summarizer を組み合わせた新しい検索強化抽象要約フレームワークを提案する。 提案手法は,複数のドメインにまたがる広範囲な要約データセットと,BERTとBARTの2つのバックボーンモデルで検証する。 その結果, ROUGE-1 スコアの1.384.66 倍の精度向上が得られた。
  論文  参考訳（メタデータ） (2021-09-16T12:52:48Z)
• Controllable Abstractive Dialogue Summarization with Sketch Supervision [56.59357883827276]
  本モデルは,最大50.79のROUGE-Lスコアを持つ最大対話要約コーパスSAMSumの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-28T19:05:36Z)
• Topic-Guided Abstractive Text Summarization: a Joint Learning Approach [19.623946402970933]
  本稿では,抽象テキスト要約のための新しいアプローチ,トピックガイドによる抽象要約を提案する。 ニューラルネットワークをTransformerベースのシーケンス・ツー・シーケンス(seq2seq)モデルに結合学習フレームワークに組み込むことが目的だ。
  論文  参考訳（メタデータ） (2020-10-20T14:45:25Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
  ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。 次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
  論文  参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。