論文の概要: Comparative Evaluation of ChatGPT and DeepSeek Across Key NLP Tasks: Strengths, Weaknesses, and Domain-Specific Performance

• arxiv url: http://arxiv.org/abs/2506.18501v1
• Date: Mon, 23 Jun 2025 10:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.943792
• Title: Comparative Evaluation of ChatGPT and DeepSeek Across Key NLP Tasks: Strengths, Weaknesses, and Domain-Specific Performance
• Title（参考訳）: キーNLPタスクにおけるChatGPTとDeepSeekの比較評価:強度,弱さ,ドメイン特化性能
• Authors: Wael Etaiwi, Bushra Alhijawi,
• Abstract要約: 本研究の目的は,5つの主要なNLPタスクにおけるChatGPTとDeepSeekを評価することである。 これらのタスクには、感情分析、トピック分類、テキスト要約、機械翻訳、テキスト翻訳が含まれる。 その結果、DeepSeekは分類安定性と論理的推論に優れており、ChatGPTは微妙な理解と柔軟性を必要とするタスクにおいてより優れた性能を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The increasing use of large language models (LLMs) in natural language processing (NLP) tasks has sparked significant interest in evaluating their effectiveness across diverse applications. While models like ChatGPT and DeepSeek have shown strong results in many NLP domains, a comprehensive evaluation is needed to understand their strengths, weaknesses, and domain-specific abilities. This is critical as these models are applied to various tasks, from sentiment analysis to more nuanced tasks like textual entailment and translation. This study aims to evaluate ChatGPT and DeepSeek across five key NLP tasks: sentiment analysis, topic classification, text summarization, machine translation, and textual entailment. A structured experimental protocol is used to ensure fairness and minimize variability. Both models are tested with identical, neutral prompts and evaluated on two benchmark datasets per task, covering domains like news, reviews, and formal/informal texts. The results show that DeepSeek excels in classification stability and logical reasoning, while ChatGPT performs better in tasks requiring nuanced understanding and flexibility. These findings provide valuable insights for selecting the appropriate LLM based on task requirements.
• Abstract（参考訳）: 自然言語処理(NLP)タスクにおける大規模言語モデル(LLM)の利用が増加し、様々なアプリケーションでその有効性を評価することに大きな関心が寄せられている。 ChatGPTやDeepSeekのようなモデルは、多くのNLPドメインで強力な結果を示しているが、その強み、弱点、ドメイン固有の能力を理解するためには、包括的な評価が必要である。 これらのモデルが感情分析からテキストのエンターメントや翻訳といったより微妙なタスクまで、さまざまなタスクに適用されるため、これは非常に重要なことです。 本研究の目的は、感情分析、トピック分類、テキスト要約、機械翻訳、テキスト翻訳の5つの主要なNLPタスクにおいて、ChatGPTとDeepSeekを評価することである。 構造化された実験プロトコルは、公正性を確保し、可変性を最小化するために使用される。 どちらのモデルも同一で中立なプロンプトでテストされ、タスク毎に2つのベンチマークデータセットで評価され、ニュース、レビュー、フォーマル/インフォーマルテキストなどのドメインをカバーする。 その結果、DeepSeekは分類安定性と論理的推論に優れており、ChatGPTは微妙な理解と柔軟性を必要とするタスクにおいてより優れた性能を発揮することがわかった。 これらの知見は,タスク要求に基づいて適切なLLMを選択する上で貴重な知見を提供する。

関連論文リスト

• Strategic Prompting for Conversational Tasks: A Comparative Analysis of Large Language Models Across Diverse Conversational Tasks [23.34710429552906]
  Llama, OPT, Falcon, Alpaca, MPTの5大言語モデルの性能と限界を評価する。 この研究は、予約、共感反応生成、メンタルヘルス、法的カウンセリング、説得、交渉など様々な会話的タスクを含む。
  論文  参考訳（メタデータ） (2024-11-26T08:21:24Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets [19.521390684403293]
  本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。 具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
  論文  参考訳（メタデータ） (2023-05-29T12:37:21Z)
• Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study [63.27346930921658]
  ChatGPTは、参照なしで様々な視点からテキスト品質を効果的に評価することができる。 ChatGPTを用いてテキスト品質を測定するExplicit Scoreは、3つの手法の中で最も効果的で信頼性の高い方法である。
  論文  参考訳（メタデータ） (2023-04-03T05:29:58Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。