論文の概要: ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task

• arxiv url: http://arxiv.org/abs/2304.14177v1
• Date: Thu, 27 Apr 2023 13:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 13:19:38.688589
• Title: ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task
• Title（参考訳）: chatgpt対最先端モデル:keyphrase生成タスクにおけるベンチマーク研究
• Authors: Roberto Mart\'inez-Cruz, Alvaro J. L\'opez-L\'opez, Jos\'e Portela
• Abstract要約: ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 本研究は、ChatGPTのキーフレーズ生成性能と最先端モデルを比較し、この分野における2つの重要な課題に対する解決策としての可能性をテストする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models, including ChatGPT, have demonstrated exceptional performance in various natural language generation tasks. However, there has been limited research evaluating ChatGPT's keyphrase generation ability, which involves identifying informative phrases that accurately reflect a document's content. This study seeks to address this gap by comparing ChatGPT's keyphrase generation performance with state-of-the-art models, while also testing its potential as a solution for two significant challenges in the field: domain adaptation and keyphrase generation from long documents. We conducted experiments on six publicly available datasets from scientific articles and news domains, analyzing performance on both short and long documents. Our results show that ChatGPT outperforms current state-of-the-art models in all tested datasets and environments, generating high-quality keyphrases that adapt well to diverse domains and document lengths.
• Abstract（参考訳）: ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 しかし、ChatGPTのキーフレーズ生成能力は、文書の内容を正確に反映した情報的フレーズを識別する、限定的な研究がなされている。 本研究では,ChatGPTのキーフレーズ生成性能を最先端モデルと比較し,ドメイン適応と長文からのキーフレーズ生成という2つの重要な課題に対する解決策としての可能性をテストする。 学術論文やニュースドメインから入手可能な6つのデータセットについて実験を行い,短い文書と長い文書の両方のパフォーマンスを分析した。 以上の結果から,ChatGPTはすべてのテストデータセットや環境において現在の最先端モデルよりも優れており,多様なドメインやドキュメント長に順応する高品質なキーフレーズを生成する。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Cross-Domain Robustness of Transformer-based Keyphrase Generation [1.8492669447784602]
  キーフレーズのリストは、データベースや電子文書のリポジトリにおけるテキストの重要な要素である。 本実験では,キーフレーズ生成のために微調整された抽象テキスト要約モデルを用いて,目的のテキストコーパスに対して非常に高い結果を示す。 本稿では,6つのベンチマークコーパス間のキーフレーズ選択タスクに対する微調整BARTモデルの評価を行う。
  論文  参考訳（メタデータ） (2023-12-17T12:27:15Z)
• On the Generalization of Training-based ChatGPT Detection Methods [33.46128880100525]
  ChatGPTは、様々な自然言語タスクにおいて素晴らしいパフォーマンスを達成する最もポピュラーな言語モデルの1つである。 また、人書きから生成されたChatGPTのテキストを検出する必要がある。
  論文  参考訳（メタデータ） (2023-10-02T16:13:08Z)
• GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content [27.901155229342375]
  本稿では,言語モデルを用いたChatGPT生成対人文テキストの検出手法を提案する。 テストデータセットの精度は97%以上で,さまざまな指標から評価した。
  論文  参考訳（メタデータ） (2023-05-13T17:12:11Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• Is ChatGPT A Good Keyphrase Generator? A Preliminary Study [51.863368917344864]
  ChatGPTは最近、計算言語学コミュニティから大きな注目を集めている。 我々は、キーフレーズ生成プロンプト、キーフレーズ生成の多様性、長い文書理解など、様々な面でその性能を評価する。 その結果、ChatGPTは6つのプロンプトすべてに対して非常によく機能し、データセット間で小さなパフォーマンス差が観測されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-23T02:50:38Z)
• Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization [28.104696513516117]
  GPT3やChatGPTのような大規模言語モデル(LLM)は、テキスト要約タスクにこれらのモデルを使用することに大きな関心を寄せている。 最近の研究では、zhang2023ベンチマーキング(zhang2023benchmarking)は、LLMの生成するニュースサマリーがすでに人間と同等であることを示している。 実験の結果,ChatGPTの性能はルージュスコアの点で従来の微調整手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-02-16T04:41:30Z)
• Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering [88.08581016329398]
  文書レベルのパラフレーズ生成のためのCoRPG(Coherence Relation Guided Paraphrase Generation)を提案する。 グラフGRUを用いて、コヒーレンス関係グラフを符号化し、各文のコヒーレンス対応表現を得る。 我々のモデルは、より多様性とセマンティックな保存を伴う文書パラフレーズを生成することができる。
  論文  参考訳（メタデータ） (2021-09-15T05:53:40Z)
• Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention [75.44523978180317]
  本稿では,2つの主要成分からなるニューラルキーフレーズ生成モデルであるemphSEG-Netを提案する。 科学的およびWeb文書から得られた7つのキーフレーズ生成ベンチマークの実験結果は、SEG-Netが最先端のニューラル生成手法よりも大きなマージンで優れていることを示している。
  論文  参考訳（メタデータ） (2020-08-04T18:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。