論文の概要: Exploring the Limits of ChatGPT for Query or Aspect-based Text
Summarization
- arxiv url: http://arxiv.org/abs/2302.08081v1
- Date: Thu, 16 Feb 2023 04:41:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 15:03:29.987453
- Title: Exploring the Limits of ChatGPT for Query or Aspect-based Text
Summarization
- Title（参考訳）: クエリやアスペクトベースのテキスト要約におけるChatGPTの限界探索
- Authors: Xianjun Yang, Yan Li, Xinlu Zhang, Haifeng Chen, Wei Cheng
- Abstract要約: GPT3やChatGPTのような大規模言語モデル(LLM)は、テキスト要約タスクにこれらのモデルを使用することに大きな関心を寄せている。
最近の研究では、zhang2023ベンチマーキング(zhang2023benchmarking)は、LLMの生成するニュースサマリーがすでに人間と同等であることを示している。
実験の結果,ChatGPTの性能はルージュスコアの点で従来の微調整手法に匹敵することがわかった。
- 参考スコア（独自算出の注目度）: 28.104696513516117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text summarization has been a crucial problem in natural language processing
(NLP) for several decades. It aims to condense lengthy documents into shorter
versions while retaining the most critical information. Various methods have
been proposed for text summarization, including extractive and abstractive
summarization. The emergence of large language models (LLMs) like GPT3 and
ChatGPT has recently created significant interest in using these models for
text summarization tasks. Recent studies \cite{goyal2022news,
zhang2023benchmarking} have shown that LLMs-generated news summaries are
already on par with humans. However, the performance of LLMs for more practical
applications like aspect or query-based summaries is underexplored. To fill
this gap, we conducted an evaluation of ChatGPT's performance on four widely
used benchmark datasets, encompassing diverse summaries from Reddit posts, news
articles, dialogue meetings, and stories. Our experiments reveal that ChatGPT's
performance is comparable to traditional fine-tuning methods in terms of Rouge
scores. Moreover, we highlight some unique differences between
ChatGPT-generated summaries and human references, providing valuable insights
into the superpower of ChatGPT for diverse text summarization tasks. Our
findings call for new directions in this area, and we plan to conduct further
research to systematically examine the characteristics of ChatGPT-generated
summaries through extensive human evaluation.
- Abstract（参考訳）: テキスト要約は、数十年間、自然言語処理(NLP)において重要な問題であった。
もっとも重要な情報を保持しながら、長い文書を短いバージョンにまとめることを目的としている。
テキスト要約には抽出的および抽象的要約を含む様々な方法が提案されている。
GPT3やChatGPTのような大規模言語モデル(LLM)の出現は、テキスト要約タスクにこれらのモデルを使用することに大きな関心を寄せている。
最近の研究では、llmsが生成したニュース要約はすでに人間と同等であることが示されている。
しかし、アスペクトやクエリベースのサマリーのようなより実用的なアプリケーションに対するllmのパフォーマンスは過小評価されている。
このギャップを埋めるため,私たちは,reddit投稿やニュース記事,対話会議,記事など,さまざまな要約を含む4つのベンチマークデータセットでchatgptのパフォーマンスを評価した。
実験の結果,ChatGPTの性能は従来の微調整法に匹敵することがわかった。
さらに,ChatGPT生成サマリと人文参照の相違を強調し,テキスト要約タスクにおけるChatGPTのスーパーパワーに関する貴重な洞察を提供する。
本研究は,この領域における新たな方向性を示唆するものであり,広範な人的評価を通じてchatgpt生成サマリーの特性を体系的に検討するべく,さらなる研究を行う予定である。
関連論文リスト
- Chatbots Are Not Reliable Text Annotators [0.0]
ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。
オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
論文 参考訳（メタデータ） (2023-11-09T22:28:14Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - Hybrid Long Document Summarization using C2F-FAR and ChatGPT: A
Practical Study [1.933681537640272]
ChatGPTは、大規模言語モデル(LLM)分野における最新のブレークスルーである。
本稿では,ビジネス記事や書籍などの長い文書のハイブリッド抽出と要約パイプラインを提案する。
以上の結果から,ChatGPTの使用は長文を要約するための非常に有望なアプローチであるが,まだ成熟していないことが示唆された。
論文 参考訳（メタデータ） (2023-06-01T21:58:33Z) - A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark
Datasets [19.521390684403293]
本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。
具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
論文 参考訳（メタデータ） (2023-05-29T12:37:21Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Extractive Summarization via ChatGPT for Faithful Summary Generation [12.966825834765814]
本稿では,抽出要約におけるChatGPTの性能について,徹底的に評価する。
また,ChatGPTは既存の教師付きシステムと比較して,ROUGEスコアにおいて劣る抽出総和性能を示した。
ChatGPTを用いた抽出列生成パイプラインの適用は、要約忠実度の観点から抽象的ベースラインよりも大幅に性能が向上する。
論文 参考訳（メタデータ） (2023-04-09T08:26:04Z) - Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries
Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。
自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:28:33Z) - Is ChatGPT A Good Keyphrase Generator? A Preliminary Study [51.863368917344864]
ChatGPTは最近、計算言語学コミュニティから大きな注目を集めている。
我々は、キーフレーズ生成プロンプト、キーフレーズ生成の多様性、長い文書理解など、様々な面でその性能を評価する。
その結果、ChatGPTは6つのプロンプトすべてに対して非常によく機能し、データセット間で小さなパフォーマンス差が観測されていることがわかった。
論文 参考訳（メタデータ） (2023-03-23T02:50:38Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - From Standard Summarization to New Tasks and Beyond: Summarization with
Manifold Information [77.89755281215079]
テキスト要約は、原文書の短く凝縮した版を作成することを目的とした研究分野である。
現実世界のアプリケーションでは、ほとんどのデータは平易なテキスト形式ではない。
本稿では,現実のアプリケーションにおけるこれらの新しい要約タスクとアプローチについて調査する。
論文 参考訳（メタデータ） (2020-05-10T14:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。