論文の概要: From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting

• arxiv url: http://arxiv.org/abs/2309.04269v1
• Date: Fri, 8 Sep 2023 11:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:46:32.410623
• Title: From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting
• Title（参考訳）: スパースからデンスへ:密度プロンプトの連鎖によるGPT-4の要約
• Authors: Griffin Adams, Alexander Fabbri, Faisal Ladhak, Eric Lehman, No\'emie Elhadad
• Abstract要約: 優れた要約は、過度に密集し、従うのが難しいことなく、詳細でエンティティ中心であるべきです。 我々はより密度の高い GPT-4 のサマリーを、密度の連鎖(Chain of Density)のプロンプト(英語版)と呼ぶものと比較する。 我々は,100件のCNN DailyMail記事に対する人間の嗜好調査を行い,バニラプロンプトが生成したものよりもGPT-4の要約の方が好まれていることを発見した。
• 参考スコア（独自算出の注目度）: 57.25154420382581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting the ``right'' amount of information to include in a summary is a difficult task. A good summary should be detailed and entity-centric without being overly dense and hard to follow. To better understand this tradeoff, we solicit increasingly dense GPT-4 summaries with what we refer to as a ``Chain of Density'' (CoD) prompt. Specifically, GPT-4 generates an initial entity-sparse summary before iteratively incorporating missing salient entities without increasing the length. Summaries generated by CoD are more abstractive, exhibit more fusion, and have less of a lead bias than GPT-4 summaries generated by a vanilla prompt. We conduct a human preference study on 100 CNN DailyMail articles and find that that humans prefer GPT-4 summaries that are more dense than those generated by a vanilla prompt and almost as dense as human written summaries. Qualitative analysis supports the notion that there exists a tradeoff between informativeness and readability. 500 annotated CoD summaries, as well as an extra 5,000 unannotated summaries, are freely available on HuggingFace (https://huggingface.co/datasets/griffin/chain_of_density).
• Abstract（参考訳）: 要約に含まれる情報の ``right'' 量を選択するのは難しい作業です。 優れた要約は、過度に密集し、従うのが難しいことなく、詳細でエンティティ中心であるべきです。 このトレードオフをよりよく理解するために、我々はより密集した GPT-4 の要約を '`Chain of Density'' (CoD) プロンプトと呼ぶものと比較する。 具体的には、GPT-4は、長さを増大させることなく、欠落した健全な実体を反復的に組み込む前に、初期エンティティスパース要約を生成する。 CoDが生成するサマリーはより抽象的で、核融合性が高く、バニラプロンプトによって生成されるGPT-4サマリーよりも鉛バイアスが少ない。 我々は,100件のCNN DailyMail記事に対するヒトの嗜好調査を行い,ヒトは,バニラプロンプトが生成するものよりもGPT-4サマリーの方が好んでいて,人文サマリーと同程度に密度が高いことを見出した。 質的分析は、情報性と可読性の間にトレードオフが存在するという考えを支持する。 500の注釈付きcodサマリーと5000の注釈なしサマリーは、hughingfaceで自由に利用できる(https://huggingface.co/datasets/griffin/chain_of_density)。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• GUMsley: Evaluating Entity Salience in Summarization for 12 English Genres [14.37990666928991]
  GUMsleyは、12のジャンルの英語テキストに対して、名前付きおよび名前なしの敬意的エンティティを全てカバーする最初のエンティティ・サリエンス・データセットである。 いくつかのモデルアーキテクチャに対して健全なエンティティを予測または提供することにより、パフォーマンスが向上し、高品質なサマリーの導出に役立つことを示す。
  論文  参考訳（メタデータ） (2024-01-31T16:30:50Z)
• AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
  抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
  論文  参考訳（メタデータ） (2024-01-10T18:39:46Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Question-Answering Approach to Evaluating Legal Summaries [0.43512163406551996]
  GPT-4は、メインポイントと参照サマリーの情報をカバーする一連の質問応答ペアを生成するために使用される。 GPT-4は、参照要約から生成された質問の要約に基づいて回答を生成する。 GPT-4は、参照要約と生成された要約から回答を格付けする。
  論文  参考訳（メタデータ） (2023-09-26T15:36:29Z)
• Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.86501509439815]
  本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は16の多様な抽出システムによって生成された1600の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
  論文  参考訳（メタデータ） (2022-09-08T03:25:18Z)
• Screenplay Summarization Using Latent Narrative Structure [78.45316339164133]
  本稿では,物語の基盤となる構造を一般教師なし・教師付き抽出要約モデルに明示的に組み込むことを提案する。 重要な物語イベント(転回点)の観点で物語構造を定式化し、脚本を要約するために潜伏状態として扱う。 シーンレベルの要約ラベルを付加したテレビ画面のCSIコーパスの実験結果から,潜角点がCSIエピソードの重要な側面と相関していることが判明した。
  論文  参考訳（メタデータ） (2020-04-27T11:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。