論文の概要: ChatGPT Participates in a Computer Science Exam
- arxiv url: http://arxiv.org/abs/2303.09461v1
- Date: Wed, 8 Mar 2023 15:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-19 11:31:36.918600
- Title: ChatGPT Participates in a Computer Science Exam
- Title（参考訳）: ChatGPTがコンピュータサイエンス実験に参加
- Authors: Sebastian Bordt, Ulrike von Luxburg
- Abstract要約: 私たちはChatGPTに'algorithms and Data Structures'の学部コンピュータサイエンス試験への参加を依頼した。
回答を試験用シートに手動でコピーし、その後、200人の学生と一緒にブラインド・セットアップで評価した。
ChatGPTは試験に合格し、40点中20.5点を獲得した。
- 参考スコア（独自算出の注目度）: 16.665883787432858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We asked ChatGPT to participate in an undergraduate computer science exam on
''Algorithms and Data Structures''. We evaluated the program on the entire exam
as posed to the students. We hand-copied its answers onto an exam sheet, which
was subsequently graded in a blind setup alongside those of 200 participating
students. We find that ChatGPT narrowly passed the exam, obtaining 20.5 out of
40 points. This impressive performance indicates that ChatGPT can indeed
succeed in challenging tasks like university exams. At the same time, the tasks
in our exam are structurally similar to those on other exams, solved homework
problems, and teaching materials that can be found online. Therefore, it would
be premature to conclude from this experiment that ChatGPT has any
understanding of computer science. The transcript of our conversation with
ChatGPT is available at
\url{https://github.com/tml-tuebingen/chatgpt-algorithm-exam}, and the entire
graded exam is in the appendix of this paper.
- Abstract（参考訳）: われわれはChatGPTに、'algorithms and Data Structures'の学部コンピュータサイエンス試験への参加を依頼した。
私たちは試験全体のプログラムを学生に当てはまるように評価した。
その答案を試験用紙に手作業で写し、その後、200名の学生と一緒に盲目設定にされた。
結果,ChatGPTは40点中20.5点を獲得した。
この素晴らしいパフォーマンスは、ChatGPTが大学試験のような挑戦的なタスクに成功できることを示している。
同時に、試験のタスクは、他の試験のタスクと構造的に類似しており、宿題の問題が解決され、オンラインで見られる教材が提供されている。
したがって、この実験からChatGPTがコンピュータ科学の知識を持っていると結論付けるのは時期尚早である。
ChatGPT との会話の書き起こしは \url{https://github.com/tml-tuebingen/chatgpt-algorithm-exam} で入手できる。
関連論文リスト
- Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。
確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
論文 参考訳（メタデータ） (2024-11-07T22:51:47Z) - A Study on the Vulnerability of Test Questions against ChatGPT-based
Cheating [14.113742357609285]
ChatGPTはテキストのプロンプトを正確に答えることができる。
多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
論文 参考訳（メタデータ） (2024-02-21T23:51:06Z) - Inappropriate Benefits and Identification of ChatGPT Misuse in
Programming Tests: A Controlled Experiment [0.0]
学生はChatGPTにプログラミングタスクを完了させ、ソースの適切な認識なしに他人の作業からソリューションを生成することができる。
完了時間とプログラミング性能の観点から,ChatGPTを用いた不適切なメリットを測定するための制御実験を行った。
論文 参考訳（メタデータ） (2023-08-11T06:42:29Z) - Can ChatGPT pass the Vietnamese National High School Graduation
Examination? [0.0]
研究データセットには、文学テストケースで30のエッセイと、他の被験者向けにデザインされた1,700の多重選択質問が含まれていた。
ChatGPTは平均スコア6-7で試験に合格し、この技術が教育現場に革命をもたらす可能性を実証した。
論文 参考訳（メタデータ） (2023-06-15T14:47:03Z) - Investigating the Effectiveness of ChatGPT in Mathematical Reasoning and
Problem Solving: Evidence from the Vietnamese National High School Graduation
Examination [0.0]
データセットには、知識(K)、理解(C)、応用(A)、高適用(H)の4つのレベルに分けられた250の質問が含まれている。
この研究は、ChatGPTが指数関数や対数関数、幾何学的進行、算術的進行といった問題に対する回答を提供するのに大きく成功したことを発見した。
ChatGPTはSAT Mathの競争で70%ドル、VNHSGEの数学(58.8%)が続いた。
論文 参考訳（メタデータ） (2023-06-10T02:01:02Z) - Can ChatGPT Pass An Introductory Level Functional Language Programming
Course? [2.3456295046913405]
本稿では,ChatGPTが導入レベルの関数型言語プログラミングコースでどの程度うまく機能するかを検討することを目的とする。
総合的な評価は、ChatGPTが学生とインストラクターの両方に与える影響についての貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-04-29T20:30:32Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - One Small Step for Generative AI, One Giant Leap for AGI: A Complete
Survey on ChatGPT in AIGC Era [95.2284704286191]
GPT-4(別名ChatGPT Plus)は、生成型AI(GAI)の1つの小さなステップであるが、人工知能(AGI)の1つの大きな飛躍である。
2022年11月に公式リリースされて以来、ChatGPTは急速に多くのユーザーを惹きつけてきた。
この研究は、ChatGPTを基盤技術、アプリケーション、課題に関する包括的なレビューで調査した初めてのものである。
論文 参考訳（メタデータ） (2023-04-04T06:22:09Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。