論文の概要: Prompted Opinion Summarization with GPT-3.5

• arxiv url: http://arxiv.org/abs/2211.15914v2
• Date: Tue, 23 May 2023 06:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 00:51:07.153006
• Title: Prompted Opinion Summarization with GPT-3.5
• Title（参考訳）: GPT-3.5によるプロンプトオピニオン要約
• Authors: Adithya Bhaskar, Alexander R. Fabbri and Greg Durrett
• Abstract要約: GPT-3.5モデルは人体評価において非常に高い性能を示す。 我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視した3つの新しい指標を導入する。
• 参考スコア（独自算出の注目度）: 115.95460650578678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have shown impressive performance across a wide variety of tasks, including text summarization. In this paper, we show that this strong performance extends to opinion summarization. We explore several pipeline methods for applying GPT-3.5 to summarize a large collection of user reviews in a prompted fashion. To handle arbitrarily large numbers of user reviews, we explore recursive summarization as well as methods for selecting salient content to summarize through supervised clustering or extraction. On two datasets, an aspect-oriented summarization dataset of hotel reviews (SPACE) and a generic summarization dataset of Amazon and Yelp reviews (FewSum), we show that GPT-3.5 models achieve very strong performance in human evaluation. We argue that standard evaluation metrics do not reflect this, and introduce three new metrics targeting faithfulness, factuality, and genericity to contrast these different methods.
• Abstract（参考訳）: 大規模な言語モデルは、テキスト要約を含む、さまざまなタスクで印象的なパフォーマンスを示している。 本稿では,この強力な性能が意見要約にまで及んでいることを示す。 本稿では,GPT-3.5を適用した多数のユーザレビューをインプット形式で要約するパイプライン手法について検討する。 任意に多数のユーザレビューを処理するために、再帰的な要約と、クラスタリングや抽出によって要約する健全なコンテンツを選択する方法を検討する。 ホテルレビューのアスペクト指向要約データセット(SPACE)とAmazonとYelpレビューの汎用要約データセット(FewSum)の2つのデータセットにおいて、GPT-3.5モデルは人的評価において非常に高い性能を発揮することを示す。 標準評価指標は、これを反映していないと主張し、これらの異なる手法と対比するために、忠実さ、事実性、汎用性をターゲットとした3つの新しい指標を導入する。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Simple Yet Effective Synthetic Dataset Construction for Unsupervised Opinion Summarization [28.52201592634964]
  本稿では、アスペクト特化と一般的な意見要約の両方を生成するための、単純で効果的な教師なしの2つのアプローチを提案する。 最初のアプローチであるSed Words Based Leave-One-Out (SW-LOO) は、正確にマッチングされたアスペクトシードワードによって、アスペクト関連のレビューを識別する。 第2のアプローチであるNLI-LOO(Natural Language Inference Based Leave-One-Out)では、NLIモデルを用いたアスペクト関連文を、シード語を使わずにより一般的な設定で識別する。
  論文  参考訳（メタデータ） (2023-03-21T08:08:04Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
  抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。 アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。 この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-04T16:38:37Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。