論文の概要: ChatGPT: Jack of all trades, master of none

• arxiv url: http://arxiv.org/abs/2302.10724v2
• Date: Tue, 23 May 2023 13:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 00:13:20.135995
• Title: ChatGPT: Jack of all trades, master of none
• Title（参考訳）: ChatGPT:すべての取引のジャック、何のマスターも
• Authors: Jan Koco\'n, Igor Cichecki, Oliwier Kaszyca, Mateusz Kochanek, Dominika Szyd{\l}o, Joanna Baran, Julita Bielaniewicz, Marcin Gruza, Arkadiusz Janz, Kamil Kanclerz, Anna Koco\'n, Bart{\l}omiej Koptyra, Wiktoria Mieleszczenko-Kowszewicz, Piotr Mi{\l}kowski, Marcin Oleksy, Maciej Piasecki, {\L}ukasz Radli\'nski, Konrad Wojtasik, Stanis{\l}aw Wo\'zniak, Przemys{\l}aw Kazienko
• Abstract要約: OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。 25種類のNLPタスクにおけるChatGPTの機能について検討した。 われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
• 参考スコア（独自算出の注目度）: 4.693597927153063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: OpenAI has released the Chat Generative Pre-trained Transformer (ChatGPT) and revolutionized the approach in artificial intelligence to human-model interaction. Several publications on ChatGPT evaluation test its effectiveness on well-known natural language processing (NLP) tasks. However, the existing studies are mostly non-automated and tested on a very limited scale. In this work, we examined ChatGPT's capabilities on 25 diverse analytical NLP tasks, most of them subjective even to humans, such as sentiment analysis, emotion recognition, offensiveness, and stance detection. In contrast, the other tasks require more objective reasoning like word sense disambiguation, linguistic acceptability, and question answering. We also evaluated GPT-4 model on five selected subsets of NLP tasks. We automated ChatGPT and GPT-4 prompting process and analyzed more than 49k responses. Our comparison of its results with available State-of-the-Art (SOTA) solutions showed that the average loss in quality of the ChatGPT model was about 25% for zero-shot and few-shot evaluation. For GPT-4 model, a loss for semantic tasks is significantly lower than for ChatGPT. We showed that the more difficult the task (lower SOTA performance), the higher the ChatGPT loss. It especially refers to pragmatic NLP problems like emotion recognition. We also tested the ability to personalize ChatGPT responses for selected subjective tasks via Random Contextual Few-Shot Personalization, and we obtained significantly better user-based predictions. Additional qualitative analysis revealed a ChatGPT bias, most likely due to the rules imposed on human trainers by OpenAI. Our results provide the basis for a fundamental discussion of whether the high quality of recent predictive NLP models can indicate a tool's usefulness to society and how the learning and validation procedures for such systems should be established.
• Abstract（参考訳）: openaiはチャット生成型事前学習トランスフォーマー(chatgpt)をリリースし、人工知能のヒューマンモデルインタラクションへのアプローチに革命をもたらした。 chatgpt評価に関するいくつかの出版物は、よく知られた自然言語処理(nlp)タスクの有効性をテストする。 しかし、既存の研究はほとんど自動化されておらず、非常に限定的な規模でテストされている。 本研究では,感情分析,感情認識,不快感,姿勢検出など,人間に対しても主観的であった25の多様分析nlpタスクにおけるchatgptの能力について検討した。 対照的に、他のタスクは、言葉感覚の曖昧さ、言語的受容性、質問応答のようなより客観的な推論を必要とする。 NLPタスクの5つのサブセットに対してGPT-4モデルの評価を行った。 われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。 この結果とSOTA(State-of-the-Art)を比較したところ、ChatGPTモデルの平均損失はゼロショットおよび少数ショット評価で約25%であった。 GPT-4モデルでは、意味的タスクの損失はChatGPTよりも大幅に小さい。 その結果、タスク(より低いSOTA性能)が困難であるほど、ChatGPT損失が大きくなることがわかった。 特に感情認識のような現実的なNLP問題を指す。 また,ランダム・コンテクスト・フューショット・パーソナライゼーションにより,選択した主観的タスクに対するChatGPT応答をパーソナライズする機能についても検証した。 さらなる質的分析により、openaiによる人間のトレーナーに課された規則によって、chatgptバイアスが明らかにされた。 本研究は,最近の予測型NLPモデルの高品質化が,ツールの社会への有用性や,そのようなシステムに対する学習・検証手順の確立に寄与するかどうか,基本的な議論の基盤となるものである。

関連論文リスト

• Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models [0.0]
  本稿では,質問応答システム(QAS)としてのChatGPTについて検討する。 主な焦点は、提供された段落から回答を抽出する際のChatGPTの熟練度を評価することである。 評価では幻覚が強調され、ChatGPTは提供された文脈で回答が得られない質問に対して応答を提供する。
  論文  参考訳（メタデータ） (2023-12-11T08:49:18Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• Can ChatGPT Reproduce Human-Generated Labels? A Study of Social Computing Tasks [9.740764281808588]
  ChatGPTは、ソーシャルコンピューティングタスクにおいて人為的なラベルアノテーションを再現する可能性がある。 姿勢検出(2x),感情分析,ヘイトスピーチ,ボット検出の5つのデータセットを抽出した。 この結果から,ChatGPTはこれらのデータアノテーションタスクを処理できる可能性を秘めていますが,いくつかの課題が残っています。
  論文  参考訳（メタデータ） (2023-04-20T08:08:12Z)
• ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
  本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。 この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。 調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
  論文  参考訳（メタデータ） (2023-04-06T18:42:47Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [67.98821225810204]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:01:20Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。