論文の概要: GPT-3.5 vs GPT-4: Evaluating ChatGPT's Reasoning Performance in Zero-shot Learning

• arxiv url: http://arxiv.org/abs/2305.12477v1
• Date: Sun, 21 May 2023 14:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:15:05.703386
• Title: GPT-3.5 vs GPT-4: Evaluating ChatGPT's Reasoning Performance in Zero-shot Learning
• Title（参考訳）: GPT-3.5 vs GPT-4:ゼロショット学習におけるChatGPTの推論性能の評価
• Authors: Jessica L\'opez Espejel, El Hassane Ettifouri, Mahaman Sanoussi Yahaya Alassan, El Mehdi Chouham, Walid Dahhane
• Abstract要約: GPT-4は、ほぼ全ての評価されたタスクにおいて、ゼロショット学習においてGPT-3.5を上回っている。 ゼロショット学習における両モデルの性能向上を目的とした,一連のプロンプトを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have exhibited remarkable performance on various Natural Language Processing (NLP) tasks. However, there is a current hot debate regarding their reasoning capacity. In this paper, we examine the performance of GPT-3.5 and GPT-4 models, by performing a thorough technical evaluation on different reasoning tasks across eleven distinct datasets. Our findings show that GPT-4 outperforms GPT-3.5 in zero-shot learning throughout almost all evaluated tasks. In addition, we note that both models exhibit limited performance in Inductive, Mathematical, and Multi-hop Reasoning Tasks. While it may seem intuitive that the GPT-4 model would outperform GPT-3.5 given its size and efficiency in various NLP tasks, our paper offers empirical evidence to support this claim. We provide a detailed and comprehensive analysis of the results from both models to further support our findings. In addition, we propose a set of engineered prompts that improves performance of both models on zero-shot learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 しかし、現在ではその推論能力に関する議論が盛んである。 本稿では, GPT-3.5 モデルと GPT-4 モデルの性能を, 11 個の異なるデータセットに対して異なる推論タスクを徹底的に評価することにより検討する。 その結果, GPT-4 はゼロショット学習においてほぼ全てのタスクにおいて GPT-3.5 よりも優れていた。 さらに,2つのモデルがインダクティブ,数学的,マルチホップ推論タスクにおいて限られた性能を示すことに留意する。 GPT-4 モデルが様々な NLP タスクのサイズと効率を考えると,GPT-3.5 よりも優れていると直感的に思われるかもしれないが,本稿ではこの主張を支持する実証的な証拠を提供する。 我々は,両モデルから得られた結果の詳細な,包括的な分析を行い,その結果をさらに支援する。 さらに,ゼロショット学習における両モデルの性能を向上させるプロンプトのセットを提案する。

関連論文リスト

• Large language models for aspect-based sentiment analysis [0.0]
  GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。 微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
  論文  参考訳（メタデータ） (2023-10-27T10:03:21Z)
• GLoRE: Evaluating Logical Reasoning of Large Language Models [29.914546407784552]
  GLoREは3種類のタスクにまたがる12のデータセットからなるベンチマークである。 ChatGPTとGPT-4は論理的推論の強い能力を示し、GPT-4はChatGPTをはるかに上回っている。 本稿では,ChatGPTの精度を高める自己整合性探索法と,オープンLLMの性能を向上させる微調整法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T13:52:15Z)
• Taqyim: Evaluating Arabic NLP Tasks Using ChatGPT Models [6.145834902689888]
  大規模言語モデル(LLM)は、微調整を必要とせず、様々な下流タスクにおける印象的なパフォーマンスを示している。 英語に比べて訓練率が低いにもかかわらず、これらのモデルは他の言語でも顕著な能力を示す。 本研究では,7つの異なるNLPタスクにおいて,GPT-3.5およびGPT-4モデルの性能を評価する。
  論文  参考訳（メタデータ） (2023-06-28T15:54:29Z)
• InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT [75.29359361404073]
  InheritSummは、蒸留によりGPT-3.5から派生した汎用的でコンパクトな要約モデルである。 GPT-3.5と同様、ゼロショットやスプリットショットの設定でパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T14:52:32Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)
• A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models [71.42197262495056]
  GPTシリーズモデルは、その例外的な自然言語処理能力により、かなりの注目を集めている。 2つのGPT-3系列モデルと4つのGPT-3.5系列モデルからなる6つの代表モデルを選択する。 21個のデータセットを用いて,9つの自然言語理解タスク(NLU)の性能評価を行った。 実験の結果,NLUタスクにおけるGPTシリーズモデルの全体的な能力は,モデルが進化するにつれて徐々に向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-03-18T14:02:04Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)
• How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks [65.7949334650854]
  GPT-3.5モデルは様々な自然言語処理(NLP)タスクで顕著な性能を示した。 しかし、オープン世界の様々な複雑さに対処する堅牢性や能力はまだ検討されていない。 GPT-3.5は、不安定性、迅速な感度、数値感度など、いくつかの具体的な堅牢性課題に直面している。
  論文  参考訳（メタデータ） (2023-03-01T07:39:01Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。