論文の概要: ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course
- arxiv url: http://arxiv.org/abs/2305.13680v1
- Date: Tue, 23 May 2023 04:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 07:39:45.067434
- Title: ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course
- Title(参考訳): ChatGPT, 私のコーディング演習にソリューションを生成できるか?
大学生のjavaプログラミングコースにおけるその効果評価
- Authors: Eng Lieh Ouh, Benjamin Kok Siew Gan, Kyong Jin Shim, Swavek Wlodkowski
- Abstract要約: ChatGPTは大規模でディープラーニング駆動の自然言語処理モデルである。
評価にはChatGPTが生成する80種類のプログラミング演習のソリューションの分析が含まれる。
- 参考スコア(独自算出の注目度): 4.779196219827508
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this study, we assess the efficacy of employing the ChatGPT language model
to generate solutions for coding exercises within an undergraduate Java
programming course. ChatGPT, a large-scale, deep learning-driven natural
language processing model, is capable of producing programming code based on
textual input. Our evaluation involves analyzing ChatGPT-generated solutions
for 80 diverse programming exercises and comparing them to the correct
solutions. Our findings indicate that ChatGPT accurately generates Java
programming solutions, which are characterized by high readability and
well-structured organization. Additionally, the model can produce alternative,
memory-efficient solutions. However, as a natural language processing model,
ChatGPT struggles with coding exercises containing non-textual descriptions or
class files, leading to invalid solutions. In conclusion, ChatGPT holds
potential as a valuable tool for students seeking to overcome programming
challenges and explore alternative approaches to solving coding problems. By
understanding its limitations, educators can design coding exercises that
minimize the potential for misuse as a cheating aid while maintaining their
validity as assessment tools.
- Abstract(参考訳): 本研究では、ChatGPT言語モデルを用いて、学部のJavaプログラミングコースにおけるコーディング演習のソリューションを作成することの有効性を評価する。
大規模でディープラーニング駆動の自然言語処理モデルChatGPTは、テキスト入力に基づいてプログラミングコードを生成することができる。
評価では,ChatGPT生成した80種類のプログラミング演習を解析し,それらを正しい解と比較する。
以上の結果から,chatgpt は高い可読性と組織構造に富む java プログラミングソリューションを高精度に生成できることが判明した。
さらにモデルでは、メモリ効率のよい代替ソリューションを生成できる。
しかし、自然言語処理モデルとして、ChatGPTは、非テキスト記述やクラスファイルを含むコーディング演習に苦労し、無効なソリューションへと繋がる。
結論として、ChatGPTは、プログラミングの課題を克服し、コーディング問題を解決するための代替アプローチを探究する学生にとって、価値のあるツールとしてポテンシャルを持っている。
制限を理解することによって、教育者は、評価ツールとしての有効性を維持しつつ、不正使用の可能性を最小化するコーディングエクササイズを設計することができる。
関連論文リスト
- Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in
the Age of Artificial Intelligence [0.0]
プログラムタスクを解くために,大規模言語モデルを使用することの有効性は未検討である。
本研究では,ChatGPTによるプログラミング入門コースの難易度に応じて,ChatGPTがコード解を生成する能力について検討した。
プログラム教育におけるAIを活用したツールの有用性に関する議論が進行中である。
論文 参考訳(メタデータ) (2023-12-02T11:09:17Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - Refining ChatGPT-Generated Code: Characterizing and Mitigating Code
Quality Issues [17.7880460531813]
我々は2つの人気のあるプログラミング言語で実装された4,066個のChatGPT生成コードの品質を体系的に研究した。
本稿では,ChatGPT生成コードの品質に関する潜在的な問題を同定し,特徴付ける。
ChatGPTはこれらの課題に部分的に対処でき、コード品質を20%以上改善していますが、まだ改善の余地と機会があります。
論文 参考訳(メタデータ) (2023-07-24T08:14:22Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳(メタデータ) (2023-07-17T06:06:58Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency
in coding algorithms and data structures [1.3124513975412255]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳(メタデータ) (2023-07-10T08:20:34Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-24T09:20:13Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳(メタデータ) (2023-04-12T05:08:52Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳(メタデータ) (2023-02-08T09:44:51Z) - PanGu-Coder: Program Synthesis with Function-Level Language Modeling [47.63943623661298]
PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。
最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。
第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
論文 参考訳(メタデータ) (2022-07-22T18:08:16Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳(メタデータ) (2021-08-26T05:44:20Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。