論文の概要: Zero-Shot Opinion Summarization with GPT-3

• arxiv url: http://arxiv.org/abs/2211.15914v1
• Date: Tue, 29 Nov 2022 04:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 15:54:13.905809
• Title: Zero-Shot Opinion Summarization with GPT-3
• Title（参考訳）: GPT-3によるゼロショットオピニオン要約
• Authors: Adithya Bhaskar, Alexander R. Fabbri and Greg Durrett
• Abstract要約: GPT-3モデルは人体評価において非常に高い性能を示すことを示す。 我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視したいくつかの新しい尺度に対して評価を行った。
• 参考スコア（独自算出の注目度）: 115.95460650578678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Very large language models such as GPT-3 have shown impressive performance across a wide variety of tasks, including text summarization. In this paper, we show that this strong performance extends to opinion summarization. We explore several pipeline methods for applying GPT-3 to summarize a large collection of user reviews in a zero-shot fashion, notably approaches based on recursive summarization and selecting salient content to summarize through supervised clustering or extraction. On two datasets, an aspect-oriented summarization dataset of hotel reviews and a generic summarization dataset of Amazon and Yelp reviews, we show that the GPT-3 models achieve very strong performance in human evaluation. We argue that standard evaluation metrics do not reflect this, and evaluate against several new measures targeting faithfulness, factuality, and genericity to contrast these different methods.
• Abstract（参考訳）: GPT-3のような非常に大きな言語モデルは、テキストの要約を含む様々なタスクで顕著なパフォーマンスを示している。 本稿では,この強力な性能が意見要約にまで及んでいることを示す。 本稿では,再帰的要約に基づくアプローチや,教師付きクラスタリングや抽出を通じて要約すべきサレントコンテンツの選択など,多数のユーザレビューをゼロショットで要約するためにgpt-3を適用するパイプライン手法について検討する。 ホテルレビューのアスペクト指向要約データセットとAmazonとYelpレビューの汎用要約データセットの2つのデータセットにおいて、GPT-3モデルは人的評価において非常に高い性能を発揮することを示す。 我々は,標準評価指標がこれを反映していないことを論じ,これらの異なる手法を対比するために,忠実さ,事実性,汎用性を標的としたいくつかの新しい尺度に対して評価を行う。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Simple Yet Effective Synthetic Dataset Construction for Unsupervised Opinion Summarization [28.52201592634964]
  本稿では、アスペクト特化と一般的な意見要約の両方を生成するための、単純で効果的な教師なしの2つのアプローチを提案する。 最初のアプローチであるSed Words Based Leave-One-Out (SW-LOO) は、正確にマッチングされたアスペクトシードワードによって、アスペクト関連のレビューを識別する。 第2のアプローチであるNLI-LOO(Natural Language Inference Based Leave-One-Out)では、NLIモデルを用いたアスペクト関連文を、シード語を使わずにより一般的な設定で識別する。
  論文  参考訳（メタデータ） (2023-03-21T08:08:04Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
  抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。 アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。 この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-04T16:38:37Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。