論文の概要: When AI Can Build It, What Should We Assess? Rethinking Evidence of Engineering Competence
- arxiv url: http://arxiv.org/abs/2610.36413v1
- Date: Mon, 26 Oct 2026 23:48:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.209659
- Title: When AI Can Build It, What Should We Assess? Rethinking Evidence of Engineering Competence
- Title(参考訳): AIがそれを構築できる時、評価すべきことは何か?エンジニアリング能力のエビデンスを再考
- Abstract要約: 生成AIは、伝統的に学生の能力の証拠として用いられてきたアーティファクトに似たコード、テスト、ドキュメンテーション、技術的説明を生成することができる。
我々は、学生がAIに多大な仕事を委譲できる13週間の、AIを許容する、ソフトウェア集約的なエンジニアリングコースを再設計し、初めて展開したことを報告する。
- 参考スコア(独自算出の注目度): 3.553493344868413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative AI can produce code, tests, documentation, and technical explanations that resemble artefacts traditionally used as evidence of student competence, weakening the inference from artefact quality to the engineering capability behind it. We report the redesign and first deployment of a 13-week, AI-permissive, software-intensive engineering course in which students may delegate substantial work to AI while retaining responsibility for planning, verification, review, integration, and explanation. The redesign couples an engineering accountability workflow, which structures human-AI work and preserves human decision authority, with an assessment evidence architecture comprising six complementary channels: product, process/origin, verification, explanation, reflection, and individual assurance. A collect--cross-check--escalate (CCE) reasoning logic connects these channels rather than treating any single artefact or trace as sufficient evidence of competence. By the end of Week 11, the deployment involved 87 students organised into 17 teams, with 957 individual weekly Git repositories and 34 group-project Git repositories supporting repeated assessment and engineering activity. The first deployment yielded four practical lessons: AI assistance changes where rubric criteria carry evidential weight; multiple evidence channels require deliberate cross-checking and meaningful complementarity; the evidential strength realised in practice may differ from that intended in the assessment design; and automation scales evidence collection more readily than interpretation. The contribution is a conceptually grounded, deployed design for making engineering responsibility and competence more visible when AI can perform substantial artefact production.
- Abstract(参考訳): 生成AIは、伝統的に学生の能力の証拠として用いられてきたアーティファクトに似たコード、テスト、ドキュメント、技術的な説明を生成し、アーティファクトの品質からその裏にあるエンジニアリング能力への推論を弱めることができる。
学生は、計画、検証、レビュー、統合、説明の責任を維持しながら、AIにかなりの仕事を委譲することができる。
この再設計は、人間とAIの作業を構築し、人間の意思決定権限を保存するエンジニアリングのアカウンタビリティワークフローと、製品、プロセス/オリジン、検証、説明、リフレクション、個人の保証の6つの補完的なチャネルからなるアセスメントエビデンスアーキテクチャを結合する。
集合-クロス-チェック-エスカレート(CCE)推論ロジックは、単一の成果物やトレースを十分な能力の証拠として扱うのではなく、これらのチャネルを接続する。
11週の終わりまでには、87人の学生が17チームに編成され、毎週957人の個々のGitリポジトリと34人のグループプロジェクトGitリポジトリが繰り返しアセスメントとエンジニアリング活動をサポートしている。
最初の展開では、4つの実践的な教訓が得られた: ルーブリックの基準が明確な重みを持つようなAIアシストの変更、複数のエビデンスチャンネルは意図的に相互チェックと有意義な相補性を必要とする、実際に実現された顕在的強みは、アセスメント設計で意図されたものと異なるかもしれない、そして自動化は、解釈よりも容易にエビデンスをスケールする。
このコントリビューションは、AIが実質的なアーティファクト生産を行うことができる場合に、エンジニアリングの責任と能力をより目に見えるように、概念的に根底から展開された設計である。
関連論文リスト
- Judgment-Centred Software Engineering Education: A Post-Hype Review and Framework for AI-Augmented Learning [1.2183405753834562]
生成的人工知能は、破壊的なノベルティから、ソフトウェア開発とコンピューティング教育の繰り返しの部分へと移行してきた。
教育問題は、学生がコードを生成することを許されるべきかどうかではなく、ソフトウェア工学プログラムが人間の理解を保存し評価できるかどうかである。
本稿では,2023年9月23日から2026年9月23日までに,研究と実践の構造化された総合的なレビューを示す。
論文 参考訳(メタデータ) (2026-09-24T12:29:54Z) - Dynamic Evidence Collection Ecosystem for Assessment Integrity and Authentic Competence [0.0]
ダイナミック・エビデンス・コレクション・エコシステム」は、学生が時間とともに学ぶことの連続的、真正的、多元的証拠へと評価をシフトさせる。
このフレームワークは、反復的なアーティファクト、設計ログ、アクティビティラウンド、自己回帰、ピアコラボレーションを通じて、プロセスエビデンスを収集します。
本稿では,AI検出問題としてではなく,評価設計として扱われる場合には,学術的整合性が強くなるという仮説に基づく。
論文 参考訳(メタデータ) (2026-08-17T02:19:30Z) - Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI [47.027290803102666]
生産的AI利用を3つの評価可能なスキルに分解する能力モデルであるCoRe-3(Co-Reasoning)を提案する。
理論上のスキルを基盤として、5つのテスト可能な提案を述べ、それらをCoReasoningLabでインスタンス化します。
人為的な合意と成果が次々に行われます。私たちは、計測器、データ、プロトコルをリリースします。
論文 参考訳(メタデータ) (2026-06-04T10:25:31Z) - Beyond AI Delegation: A Prompt Pattern Framework for Productive Struggle and Evaluative Judgement in Secure Coding Education [0.45706494756895794]
大規模な言語モデルは、学生が自動システムに書き込み、分析、問題解決を委譲しやすくする。
我々は,GenAIが価値ある認知的要求をなくすことなく,教育者がGenAIをコースに維持するのに役立つ実践的な枠組みを導入する。
論文 参考訳(メタデータ) (2026-05-23T07:35:49Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳(メタデータ) (2026-05-18T17:08:26Z) - AI to Learn 2.0: A Deliverable-Oriented Governance Framework and Maturity Rubric for Opaque AI in Learning-Intensive Domains [0.0]
ジェネレーティブAIは、現在のガバナンスフレームワークよりも早く研究、教育、プロフェッショナルな仕事に入り、AIによるアウトプットをどのように判断すべきかを特定できる。
本稿では,AI支援作業のためのデリバリ指向ガバナンスフレームワークであるLearning 2.0を提案する。
論文 参考訳(メタデータ) (2026-03-16T11:44:43Z) - "Can you feel the vibes?": An exploration of novice programmer engagement with vibe coding [42.82674998306379]
ビブコーディング(vibe coding)とは、直接のコードオーサシップではなく、自然言語のプロンプトを通じてソフトウェアを作成することを指す。
本稿では、初心者プログラマと混合経験チームがどのようにバイブコーディングに関わるかを調査する1日間のハッカソンについて報告する。
論文 参考訳(メタデータ) (2025-12-02T13:32:23Z) - A Design Science Blueprint for an Orchestrated AI Assistant in Doctoral Supervision [7.136113739927491]
本研究は,社会技術仲介者として機能するAIアシスタントと共同パイロットのための設計科学の青写真である。
このようなシステムのリスクには、AI過信や学習の錯覚の可能性などが含まれる。
このコントリビューションは、組織が規律を越えて実施し、試行できるワークフローとガバナンスルールを備えた、先進的で文学的なデザインである。
論文 参考訳(メタデータ) (2025-10-22T04:20:35Z) - RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。
RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。
現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
論文 参考訳(メタデータ) (2025-09-29T15:07:28Z) - Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study [36.48421439947282]
本研究は,香港の大学において,迅速な工学的介入を設計・実施した。
学生のAI自己効力、AI知識、そして効果的なプロンプト作成能力について検討した。
論文 参考訳(メタデータ) (2024-07-30T15:05:24Z) - Explainable Authorship Identification in Cultural Heritage Applications:
Analysis of a New Perspective [48.031678295495574]
既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。
特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。
我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
論文 参考訳(メタデータ) (2023-11-03T20:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。