論文の概要: Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in
the Age of Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2312.01109v1
- Date: Sat, 2 Dec 2023 11:09:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:04:37.007103
- Title: Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in
the Age of Artificial Intelligence
- Title（参考訳）: Kattis vs. ChatGPT:人工知能時代のプログラミング課題の評価と評価
- Authors: Nora Dunder, Saga Lundborg, Olga Viberg, Jacqueline Wong
- Abstract要約: プログラムタスクを解くために,大規模言語モデルを使用することの有効性は未検討である。
本研究では,ChatGPTによるプログラミング入門コースの難易度に応じて,ChatGPTがコード解を生成する能力について検討した。
プログラム教育におけるAIを活用したツールの有用性に関する議論が進行中である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-powered education technologies can support students and teachers in
computer science education. However, with the recent developments in generative
AI, and especially the increasingly emerging popularity of ChatGPT, the
effectiveness of using large language models for solving programming tasks has
been underexplored. The present study examines ChatGPT's ability to generate
code solutions at different difficulty levels for introductory programming
courses. We conducted an experiment where ChatGPT was tested on 127 randomly
selected programming problems provided by Kattis, an automatic software grading
tool for computer science programs, often used in higher education. The results
showed that ChatGPT independently could solve 19 out of 127 programming tasks
generated and assessed by Kattis. Further, ChatGPT was found to be able to
generate accurate code solutions for simple problems but encountered
difficulties with more complex programming tasks. The results contribute to the
ongoing debate on the utility of AI-powered tools in programming education.
- Abstract（参考訳）: aiを活用した教育技術は、コンピュータサイエンス教育の学生や教師を支援できる。
しかし、近年のジェネレーティブAIの発展、特にChatGPTの人気が高まっているため、プログラムタスクの解決に大規模言語モデルを使用することの有効性は未解明である。
本研究は、導入型プログラミングコースにおいて、異なる難易度レベルでコードソリューションを生成するchatgptの能力について検討する。
高等教育でよく用いられるコンピュータサイエンスプログラムのための自動ソフトウェア評価ツールであるkattisにより、ランダムに選択された127のプログラミング問題に対してchatgptをテストした。
その結果、chatgptはkattisが生成し評価した127のプログラミングタスクのうち19を独立に解決できることがわかった。
さらに、chatgptは単純な問題に対して正確なコードソリューションを生成することができたが、より複雑なプログラミングタスクでは困難に遭遇した。
この結果は、プログラミング教育におけるAIを活用したツールの有用性に関する議論の継続に寄与している。
関連論文リスト
- Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom [0.0]
本論文は、より困難な演習を創出するためにプログラミングを教える学者や、教室の整合性を促進するためにChatGPTの使用に責任を負う方法についての知見を提供する。
過去のIS演習の実践的プログラミング事例を分析し,教員や講師が大学環境下で作成したメモと比較した。
論文 参考訳（メタデータ） (2024-06-16T23:52:37Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Refining ChatGPT-Generated Code: Characterizing and Mitigating Code
Quality Issues [17.7880460531813]
我々は2つの人気のあるプログラミング言語で実装された4,066個のChatGPT生成コードの品質を体系的に研究した。
本稿では,ChatGPT生成コードの品質に関する潜在的な問題を同定し,特徴付ける。
ChatGPTはこれらの課題に部分的に対処でき、コード品質を20%以上改善していますが、まだ改善の余地と機会があります。
論文 参考訳（メタデータ） (2023-07-24T08:14:22Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course [4.779196219827508]
ChatGPTは大規模でディープラーニング駆動の自然言語処理モデルである。
評価にはChatGPTが生成する80種類のプログラミング演習のソリューションの分析が含まれる。
論文 参考訳（メタデータ） (2023-05-23T04:38:37Z) - Exploring the Use of ChatGPT as a Tool for Learning and Assessment in
Undergraduate Computer Science Curriculum: Opportunities and Challenges [0.3553493344868413]
本稿では,ChatGPTを大学コンピュータサイエンスカリキュラムの学習・評価ツールとして活用する上での課題と課題について論じる。
グループBの学生はChatGPTにアクセスでき、プログラミングの課題を解決するために使うことを奨励された。
結果より,ChatGPTを用いた学生は成績の点で有利であったが,提出されたコードには矛盾や不正確性があった。
論文 参考訳（メタデータ） (2023-04-16T21:04:52Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。