論文の概要: ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course
- arxiv url: http://arxiv.org/abs/2305.13680v1
- Date: Tue, 23 May 2023 04:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 07:39:45.067434
- Title: ChatGPT, Can You Generate Solutions for my Coding Exercises? An
Evaluation on its Effectiveness in an undergraduate Java Programming Course
- Title（参考訳）: ChatGPT, 私のコーディング演習にソリューションを生成できるか?
大学生のjavaプログラミングコースにおけるその効果評価
- Authors: Eng Lieh Ouh, Benjamin Kok Siew Gan, Kyong Jin Shim, Swavek Wlodkowski
- Abstract要約: ChatGPTは大規模でディープラーニング駆動の自然言語処理モデルである。
評価にはChatGPTが生成する80種類のプログラミング演習のソリューションの分析が含まれる。
- 参考スコア（独自算出の注目度）: 4.779196219827508
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this study, we assess the efficacy of employing the ChatGPT language model
to generate solutions for coding exercises within an undergraduate Java
programming course. ChatGPT, a large-scale, deep learning-driven natural
language processing model, is capable of producing programming code based on
textual input. Our evaluation involves analyzing ChatGPT-generated solutions
for 80 diverse programming exercises and comparing them to the correct
solutions. Our findings indicate that ChatGPT accurately generates Java
programming solutions, which are characterized by high readability and
well-structured organization. Additionally, the model can produce alternative,
memory-efficient solutions. However, as a natural language processing model,
ChatGPT struggles with coding exercises containing non-textual descriptions or
class files, leading to invalid solutions. In conclusion, ChatGPT holds
potential as a valuable tool for students seeking to overcome programming
challenges and explore alternative approaches to solving coding problems. By
understanding its limitations, educators can design coding exercises that
minimize the potential for misuse as a cheating aid while maintaining their
validity as assessment tools.
- Abstract（参考訳）: 本研究では、ChatGPT言語モデルを用いて、学部のJavaプログラミングコースにおけるコーディング演習のソリューションを作成することの有効性を評価する。
大規模でディープラーニング駆動の自然言語処理モデルChatGPTは、テキスト入力に基づいてプログラミングコードを生成することができる。
評価では,ChatGPT生成した80種類のプログラミング演習を解析し,それらを正しい解と比較する。
以上の結果から,chatgpt は高い可読性と組織構造に富む java プログラミングソリューションを高精度に生成できることが判明した。
さらにモデルでは、メモリ効率のよい代替ソリューションを生成できる。
しかし、自然言語処理モデルとして、ChatGPTは、非テキスト記述やクラスファイルを含むコーディング演習に苦労し、無効なソリューションへと繋がる。
結論として、ChatGPTは、プログラミングの課題を克服し、コーディング問題を解決するための代替アプローチを探究する学生にとって、価値のあるツールとしてポテンシャルを持っている。
制限を理解することによって、教育者は、評価ツールとしての有効性を維持しつつ、不正使用の可能性を最小化するコーディングエクササイズを設計することができる。
関連論文リスト
- Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom [0.0]
本論文は、より困難な演習を創出するためにプログラミングを教える学者や、教室の整合性を促進するためにChatGPTの使用に責任を負う方法についての知見を提供する。
過去のIS演習の実践的プログラミング事例を分析し,教員や講師が大学環境下で作成したメモと比較した。
論文 参考訳（メタデータ） (2024-06-16T23:52:37Z) - CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。
CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。
ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文 参考訳（メタデータ） (2024-05-03T02:48:55Z) - Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in
the Age of Artificial Intelligence [0.0]
プログラムタスクを解くために,大規模言語モデルを使用することの有効性は未検討である。
本研究では,ChatGPTによるプログラミング入門コースの難易度に応じて,ChatGPTがコード解を生成する能力について検討した。
プログラム教育におけるAIを活用したツールの有用性に関する議論が進行中である。
論文 参考訳（メタデータ） (2023-12-02T11:09:17Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳（メタデータ） (2023-10-03T00:57:26Z) - Refining ChatGPT-Generated Code: Characterizing and Mitigating Code
Quality Issues [17.7880460531813]
我々は2つの人気のあるプログラミング言語で実装された4,066個のChatGPT生成コードの品質を体系的に研究した。
本稿では,ChatGPT生成コードの品質に関する潜在的な問題を同定し,特徴付ける。
ChatGPTはこれらの課題に部分的に対処でき、コード品質を20%以上改善していますが、まだ改善の余地と機会があります。
論文 参考訳（メタデータ） (2023-07-24T08:14:22Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - PanGu-Coder: Program Synthesis with Function-Level Language Modeling [47.63943623661298]
PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。
最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。
第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
論文 参考訳（メタデータ） (2022-07-22T18:08:16Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳（メタデータ） (2021-08-26T05:44:20Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。