論文の概要: Correctness, Convergence, and AI-Generated Code Detection: A Longitudinal Study of Student and Large Language Model Code in Introductory Programming

• arxiv url: http://arxiv.org/abs/2610.00863v1
• Date: Thu, 01 Oct 2026 00:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.817925
• Title: Correctness, Convergence, and AI-Generated Code Detection: A Longitudinal Study of Student and Large Language Model Code in Introductory Programming
• Title（参考訳）: 正確性・収束性・AI生成コード検出:導入プログラミングにおける学生・大規模言語モデルコードの縦断的研究
• Abstract要約: 我々は,2021年,2023年,2025年に提供された10のPythonラボからの29,970人の学生による生成参照マッチングについて検討した。 隠れインストラクターテストを用いて生成したソリューションを検証し、スタータコードを除いた後、MOSSとコードを比較し、選択した関数の正確な抽象構文木(AST)形式について検討する。
• 参考スコア（独自算出の注目度）: 10.66862344970293
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models can generate plausible solutions to programming assignments, making it tempting to detect their use by matching student code against a reference bank of generated solutions. Yet similar code can also arise when an assignment admits only a few natural implementations, which leaves open what a match actually shows. We investigate generated-reference matching using 29,970 student submissions from ten Python labs offered in 2021, 2023, and 2025, together with 90,000 solution attempts generated retrospectively by three frontier LLMs. We validate the generated solutions using hidden instructor tests, compare code with MOSS after excluding the starter code, and examine the exact abstract syntax tree (AST) forms of selected functions. The models usually produced correct solutions and, across most assignments, converged on similar implementations. Student submissions matched the generated references more often in later cohorts, including among submissions that passed every hidden test. On tightly specified functions, the models converged on a few exact abstract-syntax-tree forms, and the number of distinct student forms also declined across cohorts, whereas open-ended functions remained diverse in both sources. Most reported overlaps were short, making the minimum match length an important choice when reviewing students' code. Finally, we discuss how instructors can build a reference bank of generated solutions before releasing an assignment to identify tasks on which generated solutions converge, decide how much review a match warrants, and redesign tasks to elicit tests, reasoning, and intermediate work. These findings support tracking population-level changes in submitted code, while attributing AI use to an individual submission would require additional evidence about how it was produced, such as prompts, revisions, intermediate code, and student disclosures.
• Abstract（参考訳）: 大規模言語モデルは、プログラム代入に対する妥当なソリューションを生成することができるため、生成されたソリューションの参照バンクと生徒のコードをマッチングすることで、それらの使用を検出する傾向がある。 しかし、類似したコードは、代入がいくつかの自然な実装しか認めていない場合にも発生しうる。 我々は,2021年,2023年,2025年に提供された10のPythonラボからの29,970人の学生による生成参照マッチングと,3つのフロンティアLSMによって振り返って生成された90,000のソリューションの試みについて検討した。 隠れインストラクターテストを用いて生成したソリューションを検証し、スタータコードを除いた後、MOSSとコードを比較し、選択した関数の正確な抽象構文木(AST)形式について検討する。 モデルは通常正しい解を生成し、ほとんどの代入で同様の実装に収束した。 学生の応募は、生成された基準によく一致し、後続のコホートでは、隠されたテストのすべてに合格した応募者を含む。 厳密に指定された関数では、モデルはいくつかの厳密な抽象構文木形式に収束し、異なる学生形式もコホート全体で減少する一方、オープンエンド関数は両方のソースで多様であった。 ほとんどの報告では重複が短く、生徒のコードをレビューする場合、最小一致長が重要な選択となる。 最後に, インストラクターが生成したソリューションの参照バンクを構築して, 生成したソリューションがどのタスクに収束するかを識別し, どの程度のレビューを行うかを決定し, テスト, 推論, 中間作業を行うためのタスクを再設計する方法について検討する。 これらの発見は、提出されたコードの集団レベルの変化を追跡することをサポートし、AIの使用を個々の提出にもたらすためには、プロンプト、リビジョン、中間コード、学生の開示など、その生成方法に関する追加の証拠が必要となる。

関連論文リスト

• Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
  コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。 提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-08-27T03:15:53Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• MGS3: A Multi-Granularity Self-Supervised Code Search Framework [22.214324677526132]
  マルチグラニュラリティ自己監督型コントラスト学習コード検索フレームワーク(MGS$3$)について紹介する。 まず、MGS$3$ は Supervised Multi-Granularity Representation Module (HMGR) を特徴としている。 様々な粒度のコード検索ベンチマーク実験を行い、複数の粒度のコード検索タスクにおいて優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-05-30T06:49:39Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Test Case-Informed Knowledge Tracing for Open-ended Coding Tasks [42.22663501257155]
  オープンエンドコーディングタスクは、コンピュータサイエンス教育で一般的である。 応答の正しさのみを分析する伝統的な知識追跡(KT)モデルは、学生のコードから学生の知識のニュアンスを完全に捉えることはできない。 テストケース・インフォームド・ナレッジ・トレーシング・フォー・オープンエンド・コーディング(TIKTOC)は,オープンエンドの学生コードとテストケースを同時に分析・予測するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-28T03:13:40Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。