論文の概要: Beyond Correctness: How Novice Software Engineering Students Exercise Oversight of Generative AI
- arxiv url: http://arxiv.org/abs/2610.32118v2
- Date: Tue, 27 Oct 2026 05:39:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.158745
- Title: Beyond Correctness: How Novice Software Engineering Students Exercise Oversight of Generative AI
- Title（参考訳）: 正確性を超えて - 初心者のソフトウェア技術者が生成AIの監督をいかに行うか
- Abstract要約: Generative AI(GenAI)は、ソフトウェア工学の学生の成果を、人工物の生産から、AI生成出力の評価と監視へとシフトさせている。
構造化AIジャーナルを通じて、初任のソフトウェア工学の学生145人が記録した962人の学生とAIのインタラクションを解析した。
報告された介入の成果の特徴,介入の理由,取組の取組,取組の実施方法について検討した。
- 参考スコア（独自算出の注目度）: 3.007949058551534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative AI (GenAI) is shifting software engineering students' work from producing artefacts towards evaluating and supervising AI-generated outputs. However, little is known about what characteristics students identify in outputs when reporting interventions, or how they exercise oversight during authentic software engineering work. We analysed 962 student-AI interaction turns documented by 145 first-year software engineering students through structured AI Journals, including 172 student-declared interventions. Using a multi-dimensional coding framework, we characterised the output characteristics identified in these reported interventions, students' reasons for intervening, the actions they took, and how those actions were enacted. Fitness problems were identified in 74.4% of interventions, compared with 16.9% involving correctness problems, indicating that oversight more often concerned whether plausible AI outputs were suitable for the engineering task than whether they contained explicit errors. Among classifiable interventions, students most frequently modified generated outputs (51.0%) or refined their prompts (28.2%), with both response types commonly associated with engineering fit. Within-student analysis further showed that outputs perceived as containing minor flaws were associated with lower evaluation confidence than outputs perceived as perfect. Taken together, these findings characterise novice AI oversight as a process that extends beyond error detection to encompass both judgement of fitness for purpose and active intervention in AI-assisted engineering work.
- Abstract（参考訳）: Generative AI(GenAI)は、ソフトウェア工学の学生の成果を、人工物の生産から、AI生成出力の評価と監視へとシフトさせている。
しかし、学生が介入を報告するときのアウトプットの特徴や、実際のソフトウェアエンジニアリング作業における過度な監視方法についてはほとんど分かっていない。
我々は、構造化されたAIジャーナルを通じて、145人の1年生のソフトウェアエンジニアリング学生によって記録された962人の学生とAIのインタラクションを解析した。
筆者らは,多次元符号化フレームワークを用いて,これらの介入で特定された出力特性,介入の理由,行動の実施方法,行動の実施方法などを特徴づけた。
74.4%の介入で適合性問題が特定され、16.9%が正当性問題に関係しており、AI出力が明示的なエラーを含むか否かよりも、工学的なタスクに適しているかどうかを監督する傾向が強かった。
分類可能な介入の中で、学生は最も頻繁に生成された出力(51.0%)を変更したり、プロンプトを洗練させた(28.2%)。
さらに、学生内分析により、小さな欠陥を含むと認識された出力は、完全と認識された出力よりも評価信頼度が低いことが判明した。
これらの知見は、初歩的なAI監視を、目的のためのフィットネスの判断とAI支援エンジニアリング作業への積極的な介入の両方を含む、エラー検出を超えて拡張するプロセスとして特徴付けている。
関連論文リスト
- Making the Invisible Visible: A Framework for Reflective AI Use in Software Engineering Education [3.007949058551534]
本稿では,ソフトウェア工学教育における学生-AIインタラクションの可視化を目的としたリフレクションフレームワークであるAI Journalを紹介する。
このフレームワークは、プロンプト、アウトプット、インテント、インタラクションコンテキストを記録する実行追跡と、認知監査を組み合わせる。
これにより、成果に基づく評価だけでは観察不可能な学生学習の側面を可視化できるようになった。
論文 参考訳（メタデータ） (2026-09-28T12:04:55Z) - Generative Artificial Intelligence Chatbots for Motivational Interviewing: A Scoping Review From System Design to Intervention Outcomes [39.14670184272379]
モチベーション・インタビュー(英: Motivational interviewing、MI)は、健康行動の変化に自律的なモチベーションをもたらすための協調的なアプローチである。
Generative AI(GenAI)は、対話型システムを通じてMIを提供する新しい方法を提供する。
彼らの設計、評価、介入への翻訳に関する証拠は、まだ断片化されている。
論文 参考訳（メタデータ） (2026-09-17T13:43:09Z) - Is Solving Better Than Evaluating GenAI Solutions? [45.714140455691485]
本研究では,GenAIが生成する解を,中等レベルのアルゴリズムコースで従来の問題解決法と比較する。
調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。
学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の利得に変換されなかった。
論文 参考訳（メタデータ） (2026-07-30T02:08:29Z) - AI-Assisted Help-Seeking Trajectories in Programming Education from an SRL-Informed Perspective [11.163797770670683]
本研究は,大学レベルのプログラミングにおけるAI支援型ヘルプサーキングの軌跡を解析した。
その結果、多くの学生が、計画的で自己規制された問題解決よりも、主にAIをリアクティブなトラブルシューティングに用いていることが示唆された。
論文 参考訳（メタデータ） (2026-06-22T03:37:58Z) - The Impact of AI Coding Assistants on Software Engineering: A Longitudinal Study [1.8047694351309203]
近年、AIコーディングアシスタントは多用されている。
我々は、タスクフォーカス、開発者エクスペリエンス、生産性に関するAIコーディングアシスタントの効果を、プロのソフトウェアエンジニアがどう感じているかを検討した。
論文 参考訳（メタデータ） (2026-05-22T01:18:39Z) - Unpacking Vibe Coding: Help-Seeking Processes in Student-AI Interactions While Programming [1.3802799822705387]
Generative AIは、生徒が自然言語を使ってAIとコラボレーションするビブコーディングを通じて、高等教育プログラムを再構築している。
110人の大学生から19,418人のインタラクション・ターンを分析し,トップレベルとローパフォーマンスの学生を比較した。
その結果、トップパフォーマーはインストゥルメンタル・ヘルプ・サーキングを行い、教師のようなAIの反応を引き出すことができた。
論文 参考訳（メタデータ） (2026-04-29T19:35:10Z) - AI Literacy, Safety Awareness, and STEM Career Aspirations of Australian Secondary Students: Evaluating the Impact of Workshop Interventions [38.350232667249095]
ディープフェイクやその他のタイプの合成メディアは、青年期の安全リスクを増大させる。
本研究は,AIオーストラリアにおけるワークショップによる介入の日がオーストラリア中等生に与える影響を評価する。
論文 参考訳（メタデータ） (2026-01-30T02:55:53Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks [45.23431596135002]
本研究は,古典的対パートナー意識による説明が学習作業中の人間の行動とパフォーマンスに与える影響を比較検討した。
その結果, パートナー意識による説明は, 関係する人工エージェントの種類によって, 参加者に異なる影響を及ぼした。
論文 参考訳（メタデータ） (2024-11-15T13:22:04Z) - Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study [36.48421439947282]
本研究は,香港の大学において,迅速な工学的介入を設計・実施した。
学生のAI自己効力、AI知識、そして効果的なプロンプト作成能力について検討した。
論文 参考訳（メタデータ） (2024-07-30T15:05:24Z) - Fast and flexible: Human program induction in abstract reasoning tasks [14.24200473508597]
ARC(1000点中40点)からタスクのサブセットを解く人間の行動研究から収集された最初の結果について報告する。
実験の結果,人間は基礎となるプログラムを推測し,新しいテスト入力例の正しいテスト出力を生成することができた。
以上の結果から,タスクの関連する特徴や特性を迅速かつ確実に決定し,正しいソリューションを作成できることが示唆された。
論文 参考訳（メタデータ） (2021-03-10T02:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。