Fugu-MT 論文翻訳(概要): Can ChatGPT Pass a Theory of Computing Course?

論文の概要: Can ChatGPT Pass a Theory of Computing Course?

arxiv url: http://arxiv.org/abs/2407.07757v1
Date: Wed, 10 Jul 2024 15:34:06 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 16:12:31.325783
Title: Can ChatGPT Pass a Theory of Computing Course?
Title（参考訳）: ChatGPTは計算理論をパスできるのか?
Authors: Matei A. Golesteanu, Garrett B. Vowinkel, Ryan E. Dougherty,
Abstract要約: われわれは,ChatGPTのToCコース合格能力を評価した。 ToCの質問と回答のデータベースを作成し、トピックや構造に関する他のToCオファリングの選択に対応する。
参考スコア（独自算出の注目度）: 0.22940141855172028
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have had considerable difficulty when prompted with mathematical questions, especially those within theory of computing (ToC) courses. In this paper, we detail two experiments regarding our own ToC course and the ChatGPT LLM. For the first, we evaluated ChatGPT's ability to pass our own ToC course's exams. For the second, we created a database of sample ToC questions and responses to accommodate other ToC offerings' choices for topics and structure. We scored each of ChatGPT's outputs on these questions. Overall, we determined that ChatGPT can pass our ToC course, and is adequate at understanding common formal definitions and answering "simple"-style questions, e.g., true/false and multiple choice. However, ChatGPT often makes nonsensical claims in open-ended responses, such as proofs.
Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的な問題、特に計算理論(ToC)のコースにおいて、かなり困難であった。本稿では,我々のToCコースとChatGPT LLMに関する2つの実験について述べる。最初に,ChatGPTのToCコース合格能力を評価した。第2に、トピックと構造に関する他のToCオファリングの選択に対応するために、サンプルToC質問と回答のデータベースを作成しました。これらの質問に対して、ChatGPTのアウトプットをそれぞれスコア付けしました。全体として、ChatGPTはToCコースをパスでき、一般的な形式定義を理解し、"シンプルな"スタイルの質問に答えるのに十分である。しかし、ChatGPTはしばしば証明のようなオープンな応答において非意味な主張をする。

関連論文リスト

A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating [14.113742357609285]
ChatGPTはテキストのプロンプトを正確に答えることができる。多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
論文参考訳（メタデータ） (2024-02-21T23:51:06Z)
Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文参考訳（メタデータ） (2023-10-20T00:37:28Z)
Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions [7.065853028825656]
Stack Overflowのプログラミング問題に対するChatGPT回答の詳細な分析を行った。また,ChatGPT回答の正確性,一貫性,包括性,簡潔性を検討した。分析の結果,ChatGPT回答の52%が誤り情報であり,77%が冗長であることがわかった。
論文参考訳（メタデータ） (2023-08-04T13:23:20Z)
Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文参考訳（メタデータ） (2023-07-10T08:20:34Z)
Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。回答は記録され、議論され、その強みと弱点を強調します。その結果,ChatGPT-4はChatGPT-3.5より優れていた。
論文参考訳（メタデータ） (2023-05-30T11:18:05Z)
Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue: An Empirical Study [51.079100495163736]
本稿では、トピックセグメンテーションと談話解析という2つの談話分析タスクにおけるChatGPTの性能を体系的に検証する。 ChatGPTは、一般的なドメイン間会話においてトピック構造を特定する能力を示すが、特定のドメイン間会話ではかなり困難である。我々のより深い調査は、ChatGPTは人間のアノテーションよりも合理的なトピック構造を提供するが、階層的なレトリック構造を線形に解析することしかできないことを示唆している。
論文参考訳（メタデータ） (2023-05-15T07:14:41Z)
When do you need Chain-of-Thought Prompting for ChatGPT? [87.45382888430643]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
論文参考訳（メタデータ） (2023-04-06T17:47:29Z)
ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。特にChatGPTは,広く利用されており,アクセスしやすいLLMである。我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
論文参考訳（メタデータ） (2023-03-29T03:05:43Z)
Analyzing ChatGPT's Aptitude in an Introductory Computer Engineering Course [6.531546527140474]
ChatGPTは、様々な質問に対して可塑性で人間に聞こえるテキストを生成できるツールである。この研究は、初歩的なコンピュータ工学コースにおいて、クイズ、宿題、試験、実験室の質問に答えることにおけるChatGPTの適性を評価する。
論文参考訳（メタデータ） (2023-03-13T16:22:43Z)
ChatGPT Participates in a Computer Science Exam [16.665883787432858]
我々はChatGPTに、'algorithms and Data Structures'の学部コンピュータサイエンス試験への参加を依頼する。回答を試験用シートに手動でコピーし、その後、200人の学生と一緒にブラインド・セットアップで評価した。結果,ChatGPTは40点中20.5点を獲得した。
論文参考訳（メタデータ） (2023-03-08T15:46:14Z)
Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。