論文の概要: (Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection

• arxiv url: http://arxiv.org/abs/2401.14040v1
• Date: Thu, 25 Jan 2024 09:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:09:08.259791
• Title: (Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection
• Title（参考訳）: (Chat)GPT v BERT:意味的変化検出のための正義の夜明け
• Authors: Francesco Periti, Haim Dubossarsky, Nina Tahmasebi
• Abstract要約: BERTや(Chat)GPTのようなトランスフォーマーベースの言語モデルは、オープンな研究問題を解決するために強力な力を持つ語彙スーパーヒーローとして登場した。 我々は,Word-in-Context(WiC)タスクの2つのダイアクロニック拡張(TempoWiCとHistoWiC)を解く能力を評価する。
• 参考スコア（独自算出の注目度）: 2.1608123849186534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the universe of Natural Language Processing, Transformer-based language models like BERT and (Chat)GPT have emerged as lexical superheroes with great power to solve open research problems. In this paper, we specifically focus on the temporal problem of semantic change, and evaluate their ability to solve two diachronic extensions of the Word-in-Context (WiC) task: TempoWiC and HistoWiC. In particular, we investigate the potential of a novel, off-the-shelf technology like ChatGPT (and GPT) 3.5 compared to BERT, which represents a family of models that currently stand as the state-of-the-art for modeling semantic change. Our experiments represent the first attempt to assess the use of (Chat)GPT for studying semantic change. Our results indicate that ChatGPT performs significantly worse than the foundational GPT version. Furthermore, our results demonstrate that (Chat)GPT achieves slightly lower performance than BERT in detecting long-term changes but performs significantly worse in detecting short-term changes.
• Abstract（参考訳）: 自然言語処理の世界では、BERTや(Chat)GPTのようなトランスフォーマーベースの言語モデルが、オープンな研究問題を解決するために強力な力を持つ語彙スーパーヒーローとして登場した。 本稿では,意味変化の時間的問題に着目し,wic(word-in-context)タスクの2つの拡張であるtempowicとhistowicの解決能力を評価する。 特に、チャットgpt(およびgpt)3.5のような新しい市販技術の可能性について、現在セマンティクスの変化をモデリングする最先端のモデル群であるbertと比較して検討する。 本実験は,意味変化の研究における (Chat)GPT の利用を評価する最初の試みである。 以上の結果から,ChatGPTは基礎的なGPTバージョンよりも大幅に性能が低下することが示唆された。 さらに, (Chat)GPTは, 長期変化検出においてBERTよりも若干低い性能を示したが, 短期変化検出では著しく低下した。

関連論文リスト

• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
  そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
  論文  参考訳（メタデータ） (2023-11-08T21:13:05Z)
• Collaborative Generative AI: Integrating GPT-k for Efficient Editing in Text-to-Image Generation [114.80518907146792]
  GPT-kのような大規模言語モデルを利用してテキスト・画像生成の迅速な編集プロセスを改善する可能性について検討する。 我々は、人間とGPT-kの共通編集を比較し、T2Iを誘導する際のGPT-kの性能を評価し、このプロセスに影響を与える可能性のある要因を検討する。
  論文  参考訳（メタデータ） (2023-05-18T21:53:58Z)
• ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task [0.0]
  ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 本研究は、ChatGPTのキーフレーズ生成性能と最先端モデルを比較し、この分野における2つの重要な課題に対する解決策としての可能性をテストする。
  論文  参考訳（メタデータ） (2023-04-27T13:25:43Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
  ChatGPTは機械翻訳(MT)の優れた機能を示す いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
  論文  参考訳（メタデータ） (2023-03-24T03:35:21Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。