論文の概要: Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026
- arxiv url: http://arxiv.org/abs/2608.16318v1
- Date: Mon, 17 Aug 2026 09:24:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.617966
- Title: Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026
- Title（参考訳）: イントロダクティブ・オブジェクト指向プログラミング評価におけるジェネレーティブ・人工知能の性能再考:2026年の考察
- Abstract要約: 本研究は,5種類のGenAIシステム,ChatGPT-5.2,DeepSeek-V3,Gemini 2.5 Flash,Claude Sonnet 4.5,M365 Copilotについて,プログラミングテストと試験タスクを用いて評価した。
評価されたすべてのGenAIシステムは、平均的な学生コホートよりも高いスコアを獲得し、長いプログラミングタスクでしばしばフルマークを得た。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in Generative Artificial Intelligence (GenAI) have substantially improved the ability of large language models (LLMs) to generate and explain source code. However, their performance on authentic object-oriented programming (OOP) assessments remains insufficiently understood. This study evaluates five widely used GenAI systems, ChatGPT-5.2, DeepSeek-V3, Gemini 2.5 Flash, Claude Sonnet 4.5, and M365 Copilot, using programming tests and examination tasks from an introductory university OOP course. The generated solutions were assessed using the same grading criteria applied to students and compared with historical student results from the same course, as well as findings from the previous year. Common errors were also analyzed to identify recurring limitations across models. All evaluated GenAI systems achieved higher scores than the average student cohort and frequently obtained full marks on longer programming tasks. Nevertheless, they occasionally produced non-compiling code and continued to struggle with advanced OOP concepts, particularly interfaces, abstract classes, and certain inheritance-related tasks. Performance was also limited on graphics-related questions involving image interpretation. Compared with the previous year, the evaluated systems demonstrated noticeable improvements across most assessments while exhibiting several recurring error patterns. The findings provide an updated evaluation of the capabilities and limitations of contemporary GenAI systems on authentic introductory OOP assessments. They also offer evidence that can inform the design of programming assessments, the responsible integration of GenAI tools into software engineering education, and future studies evaluating the evolution of AI-assisted programming.
- Abstract（参考訳）: 生成人工知能(GenAI)の最近の進歩は、ソースコードの生成と説明のための大規模言語モデル(LLM)の能力を大幅に改善している。
しかしながら、オブジェクト指向プログラミング(OOP)評価における彼らのパフォーマンスは、まだ十分に理解されていない。
本研究は,5種類のGenAIシステム,ChatGPT-5.2,DeepSeek-V3,Gemini 2.5 Flash,Claude Sonnet 4.5,M365 Copilotについて,プログラミングテストと試験タスクを用いて評価した。
生成した解は,学生に適用されるのと同じ格付け基準を用いて評価し,同コースの過去の学生結果と前年度の成績を比較した。
モデル間で繰り返し発生する制限を識別するために、一般的なエラーも分析された。
評価されたすべてのGenAIシステムは、平均的な学生コホートよりも高いスコアを獲得し、長いプログラミングタスクでしばしばフルマークを得た。
それでも、時折非コンパイルコードを生成し、特にインターフェイス、抽象クラス、継承に関連するタスクなど、OOPの高度な概念に悩まされ続けた。
また、画像解釈に関わるグラフィックス関連の問題にも性能が制限された。
前年と比較して、評価システムは、多くの評価において顕著な改善を示し、いくつかの繰り返しエラーパターンを示した。
この結果から,現代GenAIシステムの機能と限界が,OOP評価の真正性に対して更新された。
彼らはまた、プログラミングアセスメントの設計、GenAIツールのソフトウェア工学教育への責任ある統合、AI支援プログラミングの進化を評価する将来の研究を知らせる証拠を提供する。
関連論文リスト
- Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes [0.0]
本稿では、家庭内プログラミングの課題に生成AIを使用できるアセスメントモデルを提案する。
真正学習を促進するために、クラス内のクローズドブックアセスメントは課題そのものよりも重み付けされている。
統計分析の結果,GenAI使用率と評価結果との間に有意な線形相関は認められなかった。
論文 参考訳（メタデータ） (2026-01-16T17:02:44Z) - Evaluating undergraduate mathematics examinations in the era of generative AI: a curriculum-level case study [0.0]
我々はRussell Group大学の8つの学部数学試験に、GenAIを作成した。
GenAIの到達度は1級のレベルですが、現在のパフォーマンスはモジュールによって異なります。
論文 参考訳（メタデータ） (2025-09-15T10:34:31Z) - The next question after Turing's question: Introducing the Grow-AI test [51.56484100374058]
本研究は,GROW-AIと呼ばれる人工知能評価の枠組みを拡張することを目的としている。
GROW-AIは、チューリングテストの自然な後継者である"Can Machine grow up?
この作品の独創性は、人間の世界から人工知能への「成長」過程の概念的な変換にある。
論文 参考訳（メタデータ） (2025-08-22T10:19:42Z) - Rethinking Machine Unlearning in Image Generation Models [59.697750585491264]
CatIGMUは、新しい階層的なタスク分類フレームワークである。
EvalIGMUは包括的な評価フレームワークである。
高品質な未学習データセットであるDataIGMを構築した。
論文 参考訳（メタデータ） (2025-06-03T11:25:14Z) - Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。
OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文 参考訳（メタデータ） (2025-03-27T11:20:17Z) - Generative AI for Software Architecture. Applications, Challenges, and Future Directions [6.883775050854466]
我々は、ソフトウェアアーキテクチャにおけるGenAIの使用、合理化、コンテキスト、ユーザビリティ、および将来の課題を体系的に総合することを目指している。
アーキテクチャ決定支援とアーキテクチャ再構築のためのGenAIの導入について検討した。
論文 参考訳（メタデータ） (2025-03-17T15:49:30Z) - Dimensions of Generative AI Evaluation Design [51.541816010127256]
我々は、GenAI評価設計に関わる重要な選択を捉えるための一般的な次元のセットを提案する。
これらの次元には、評価設定、タスクタイプ、入力ソース、インタラクションスタイル、期間、メトリックタイプ、スコアリング方法が含まれる。
論文 参考訳（メタデータ） (2024-11-19T18:25:30Z) - GenLens: A Systematic Evaluation of Visual GenAI Model Outputs [33.93591473459988]
GenLensは、GenAIモデル出力の体系的評価のために設計されたビジュアル分析インタフェースである。
モデル開発者によるユーザ調査によると、GenLensは、高い満足度で証明されたワークフローを効果的に強化する。
論文 参考訳（メタデータ） (2024-02-06T04:41:06Z) - From GPT-3 to GPT-4: On the Evolving Efficacy of LLMs to Answer
Multiple-choice Questions for Programming Classes in Higher Education [2.6626950367610402]
マルチチョイス質問(MCQ)に対する回答生成における3つの生成事前学習型トランスフォーマー(GPT)モデルの進化的有効性について検討する。
私たちは、ChatGPT(Nov '22)のリリース前、リリース時、そして今日(つまり8月23日)のモデルの能力の違いに注目します。
論文 参考訳（メタデータ） (2023-11-16T02:46:15Z) - ARB: Advanced Reasoning Benchmark for Large Language Models [94.37521840642141]
複数の分野における先進的推論問題からなる新しいベンチマークであるABBを紹介する。
ARBのサブセットとして、高度なシンボリック推論とドメイン知識を必要とする数学と物理学の問題を紹介する。
我々は, GPT-4 や Claude on ARB などの最近のモデルを評価し, より要求の高いタスクにおいて, 現在のモデルが50%以下であることを示す。
論文 参考訳（メタデータ） (2023-07-25T17:55:19Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳（メタデータ） (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。