論文の概要: When AI Is Wrong on Purpose: How Students Respond to Buggy GenAI Code
- arxiv url: http://arxiv.org/abs/2607.05068v1
- Date: Mon, 06 Jul 2026 13:36:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.163228
- Title: When AI Is Wrong on Purpose: How Students Respond to Buggy GenAI Code
- Title(参考訳): 学生がGenAIのコードにどう反応するか?
- Authors: Victor-Alexandru Pădurean, Kaitlin Riegel, Alkis Gotovos, Jyotika Mahapatra, Ahana Ghosh, Paul Denny, Juho Leinonen, James Prather, Adish Singla,
- Abstract要約: 本稿では,これらの実践をより促進するために,即時集中型プログラミング活動をどのように適応させるかを検討する。
具体的には、現実的で実行可能なバグを、そうでなければ正しいソリューションに注入するアプローチについて検討する。
- 参考スコア(独自算出の注目度): 18.653714524727153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Generative AI (GenAI) becomes increasingly central to software development, CS education is integrating prompt-centered workflows where students describe intended program behavior in natural language to elicit code. However, professional practice requires careful review and verification of GenAI-generated code that may appear correct while containing subtle faults. This creates a challenge for CS1-level activities, where current models often solve tasks correctly and reduce students' incentive to closely inspect generated outputs. We investigate how prompt-centered programming activities can be adapted to better foster these practices. Specifically, we explore an approach where realistic, runnable bugs are injected into otherwise correct solutions, thus requiring students to read and repair generated outputs. We analyzed 2,636 sessions from 917 students, and examined behavior across instances of naturally occurring prompt-related failures and deliberately injected bugs within each session. Our findings show that students responded differently across bug sources. Deliberately injected bugs more often led to direct code edits and higher next-attempt success, suggesting localized repair of near-miss solutions. Prompt-related failures instead more often led students to refine prompts by clarifying constraints, updating function signatures, adding edge cases, or reframing the task. Student reflections reinforce the emphasis on review and repair, describing useful practice in code understanding, code review, and debugging, as well as a more careful verification mindset and greater awareness of GenAI limitations. Ultimately, prompt-related failures and injected bugs together support a pedagogically useful GenAI workflow, where students practice both specification refinement through prompts and debugging through code editing.
- Abstract(参考訳): Generative AI(GenAI)がソフトウェア開発の中心になるにつれて、CS教育は、学生が自然言語で意図したプログラムの振る舞いを記述してコードを引き出す、即時中心のワークフローを統合している。
しかし、専門的な実践では、微妙な欠点を伴いながら正しいように見えるGenAI生成コードの慎重にレビューと検証が必要である。
これはCS1レベルの活動において課題となり、現在のモデルはしばしばタスクを正しく解決し、生成された出力を綿密に検査する学生のインセンティブを減少させる。
本稿では,これらの実践をより促進するために,即時集中型プログラミング活動をどのように適応させるかを検討する。
具体的には、現実的で実行可能なバグを、そうでなければ正しい解決策に注入するアプローチを検討する。
917名の学生の2,636のセッションを分析し,自然発生のプロンプト関連障害の事例と,各セッション内で故意にバグを注入する事例について検討した。
以上の結果から,学生はバグソースによって異なる反応を示した。
デリバティブにバグを注入することで、直接のコード編集や、再試行的な成功がもたらされ、ニアミスソリューションの局所的な修復が提案された。
プロンプト関連障害は、制約を明確にしたり、機能シグネチャを更新したり、エッジケースを追加したり、タスクを再フレーミングしたりすることで、生徒にプロンプトを洗練させることが多かった。
学生のふりかえりは、レビューと修復の重点を強化し、コード理解、コードレビュー、デバッグにおける有用なプラクティスを説明した。
最終的に、プロンプト関連の障害とバグを一緒に注入することは、教育的に有用なGenAIワークフローをサポートし、学生はプロンプトによる仕様修正とコード編集によるデバッグの両方を実践する。
関連論文リスト
- Understanding Student Perceptions, Mistakes, and Debugging Approaches when Solving Natural Language Programming Tasks [18.517538299978465]
900人以上の学生による対話型プロンプト問題の解法について検討した。
従来のコーディングタスクと比較すると、生徒はより簡単で、より楽しく、問題解決スキルの開発を目標としていた。
最も一般的な間違いは、重要な詳細の欠落に関連しており、その重要性を認識できないことと、それらを推論するAIへの過度な信頼の両方を示唆している。
論文 参考訳(メタデータ) (2026-07-06T13:16:39Z) - Interleaving Natural Language Prompting with Code Editing for Solving Programming Tasks with Generative AI Models [20.071141463392813]
学生はしばしば、プログラミングタスクを解決するために自然言語のプロンプトと手作業によるコード編集に頼っている。
これらの2つのモードが実際にどのように組み合わされているか、そしてそれらの使い方が、タスクの複雑さや学生の能力とどのように異なるかを検討する。
分析の結果、学生は主に初期解を生成するためにプロンプトを使用しており、実行が失敗した後、短い編集実行ループを入力してコードを洗練することが多い。
論文 参考訳(メタデータ) (2025-09-17T15:32:19Z) - Do AI models help produce verified bug fixes? [62.985237003585674]
大規模言語モデルは、ソフトウェアバグの修正に使用される。
本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。
その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
論文 参考訳(メタデータ) (2025-07-21T17:30:16Z) - Learning Code-Edit Embedding to Model Student Debugging Behavior [2.1485350418225244]
本稿では,学生の連続的なコード入力間で有意義なコード編集を学習するエンコーダ-デコーダモデルを提案する。
テストケースの正確性を改善しながら、生徒のコーディングスタイルを維持するための、パーソナライズされた次のステップのコード提案を可能にする。
論文 参考訳(メタデータ) (2025-02-26T18:54:39Z) - BugSpotter: Automated Generation of Code Debugging Exercises [22.204802715829615]
本稿では,問題記述からバグコードを生成するツールであるBugSpotterを紹介する。
学生は失敗するテストケースを設計することでBugSpotterと対話する。
論文 参考訳(メタデータ) (2024-11-21T16:56:33Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳(メタデータ) (2024-07-12T10:11:40Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳(メタデータ) (2023-02-14T18:43:34Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。