論文の概要: Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard

• arxiv url: http://arxiv.org/abs/2305.18618v1
• Date: Tue, 30 May 2023 11:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 19:17:12.486105
• Title: Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard
• Title（参考訳）: chatbots put to the test in math and logic problems: a preliminary comparison and assessment of chatgpt-3.5, chatgpt-4, google bard
• Authors: Vagelis Plevris, George Papazafeiropoulos, Alejandro Jim\'enez Rios
• Abstract要約: 曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。 回答は記録され、議論され、その強みと弱点を強調します。 その結果,ChatGPT-4はChatGPT-3.5より優れていた。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A comparison between three chatbots which are based on large language models, namely ChatGPT-3.5, ChatGPT-4 and Google Bard is presented, focusing on their ability to give correct answers to mathematics and logic problems. In particular, we check their ability to Understand the problem at hand; Apply appropriate algorithms or methods for its solution; and Generate a coherent response and a correct answer. We use 30 questions that are clear, without any ambiguities, fully described with plain text only, and have a unique, well defined correct answer. The questions are divided into two sets of 15 each. The questions of Set A are 15 "Original" problems that cannot be found online, while Set B contains 15 "Published" problems that one can find online, usually with their solution. Each question is posed three times to each chatbot. The answers are recorded and discussed, highlighting their strengths and weaknesses. It has been found that for straightforward arithmetic, algebraic expressions, or basic logic puzzles, chatbots may provide accurate solutions, although not in every attempt. However, for more complex mathematical problems or advanced logic tasks, their answers, although written in a usually "convincing" way, may not be reliable. Consistency is also an issue, as many times a chatbot will provide conflicting answers when given the same question more than once. A comparative quantitative evaluation of the three chatbots is made through scoring their final answers based on correctness. It was found that ChatGPT-4 outperforms ChatGPT-3.5 in both sets of questions. Bard comes third in the original questions of Set A, behind the other two chatbots, while it has the best performance (first place) in the published questions of Set B. This is probably because Bard has direct access to the internet, in contrast to ChatGPT chatbots which do not have any communication with the outside world.
• Abstract（参考訳）: ChatGPT-3.5, ChatGPT-4, Google Bardという,大規模な言語モデルに基づく3つのチャットボットの比較を行った。 特に,問題の理解能力を確認し,その解法に適切なアルゴリズムや手法を適用し,コヒーレントな応答と正しい回答を生成する。 曖昧さがなく、平易なテキストだけで完全に記述され、ユニークで明確に定義された正解を持つ30の質問を使用します。 質問は、それぞれ15の2つのセットに分けられる。 Set Aの質問は、オンラインでは見つからない15の"Original"問題であり、Set Bには、通常ソリューションを使って、オンラインで見つけることができる15の"Published"問題が含まれている。 各質問はチャットボットに3回提示される。 回答は記録され、議論され、強みと弱みが強調される。 単純な算術、代数的表現、あるいは基本的な論理パズルの場合、チャットボットは全ての試みにおいて正しく解くことができる。 しかし、より複雑な数学的問題や高度な論理問題では、解答は通常「収束」な方法で書かれるが、信頼性は低い。 一貫性も問題であり、同じ質問が複数回あると、チャットボットが矛盾する回答を何度も提示する。 3つのチャットボットの比較定量的評価は、正しさに基づいて最終回答をスコアリングすることで行われる。 その結果,ChatGPT-4はChatGPT-3.5より優れていた。 Bardは、他の2つのチャットボットの背後にある、Set Aのオリジナルの質問で3番目に多いが、Set Bの質問では最高のパフォーマンス(第1位)を持っている。これはおそらく、Bardが外部とのコミュニケーションを持たないChatGPTチャットボットとは対照的に、インターネットに直接アクセスしているからだ。

関連論文リスト

• A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating [14.113742357609285]
  ChatGPTはテキストのプロンプトを正確に答えることができる。 多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
  論文  参考訳（メタデータ） (2024-02-21T23:51:06Z)
• Comparative Analysis of ChatGPT, GPT-4, and Microsoft Bing Chatbots for GRE Test [0.0]
  本研究では,Bing,ChatGPT,GPT-4の3つの人工知能チャットボットが,標準化されたテストから質問に答える上で,いかにうまく機能するかを解析する。 量的推論の異なる137の質問と、言語カテゴリーを持つ157の質問が、それらの能力を評価するために使用された。
  論文  参考訳（メタデータ） (2023-11-26T05:27:35Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
  Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。 また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。 分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
  論文  参考訳（メタデータ） (2023-08-04T13:23:20Z)
• ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
  大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。 特にChatGPTは,広く利用されており,アクセスしやすいLLMである。 我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
  論文  参考訳（メタデータ） (2023-03-29T03:05:43Z)
• Chatbots as Problem Solvers: Playing Twenty Questions with Role Reversals [0.0]
  ChatGPTのような新しいチャットAIアプリケーションは、複数のステップタスクにわたる質問コンテキストとメモリの高度な理解を提供する。 本稿では,ChatGPTが古典的な20問ゲームでプレイするマルチロール・マルチステップの課題を提案する。
  論文  参考訳（メタデータ） (2023-01-01T03:04:04Z)
• Implementing a Chatbot Solution for Learning Management System [0.0]
  今日チャットボットが直面する最大の問題は、人間の言語を模倣することだ。 エクストリームプログラミング手法はChatterBot、Pyside2、Webスクレイピング、TampermonkeyをBlackboardに統合するために選択された。 我々は、AIボットを教育環境に統合する可能性を示した。
  論文  参考訳（メタデータ） (2022-06-27T11:04:42Z)
• QAConv: Question Answering on Informative Conversations [85.2923607672282]
  ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。 合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
  論文  参考訳（メタデータ） (2021-05-14T15:53:05Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• ConvAI3: Generating Clarifying Questions for Open-Domain Dialogue Systems (ClariQ) [64.60303062063663]
  本論文では,対話システムに対する質問の明確化に関する課題について詳述する(ClariQ)。 このチャレンジは、2020年のSearch Oriented Conversational AI (SCAI) EMNLPワークショップで、ConvAI3(Conversational AI Challenge series)の一部として組織されている。
  論文  参考訳（メタデータ） (2020-09-23T19:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。