論文の概要: Assessment Design in the GenAI Era: The X1-X2-X3 Assessment Pattern for Testing Students' AI Literacy, Learning Outcomes, and Reflection
- arxiv url: http://arxiv.org/abs/2608.12351v1
- Date: Thu, 02 Jul 2026 22:42:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.187655
- Title: Assessment Design in the GenAI Era: The X1-X2-X3 Assessment Pattern for Testing Students' AI Literacy, Learning Outcomes, and Reflection
- Title（参考訳）: GenAI時代のアセスメントデザイン:学生のAIリテラシー、学習成果、リフレクションをテストするためのX1-X2-X3アセスメントパターン
- Abstract要約: 本稿では,2年生のデータベースシステムモジュールにおいて,AIを意識したAIテストアセスメントの設計と実装から教訓を報告する。
本設計は,(1) 学生が原点回答を文書化し,自作の回答を作成し,原点出力を評価する構造化三部応答形式(X1-X2-X3) と,(2) 原点課題を現代GenAIツールに対してストレステストするAI対応質問設計プロセスの2つを組み合わせた。
- 参考スコア（独自算出の注目度）: 0.6015898117103066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative artificial intelligence (GenAI) has challenged the validity of unsupervised online assessment, especially in technical subjects where plausible answers can be produced with little effort. This paper reports lessons from designing and implementing an AI-aware, AI-testing assessment in a large second-year undergraduate database systems module. The design combined two linked elements: (1) a structured three-part response format (X1-X2-X3) in which students documented a sourced answer, produced their own answer, and evaluated the sourced output; and (2) an AI-aware question-design process in which draft tasks were stress-tested against contemporary GenAI tools and revised when generic prompting produced superficially adequate answers. The account draws on archived assessment materials, rubrics, planning records, design-time GenAI trials, practice-response data, attainment records, and external review comments. Its main contribution is a reusable assessment-design method rather than a claim of measured learning gains. We show how the pattern developed across iterations and how it can support authentic assessment, visible AI literacy, student judgement, and more transparent marking. The paper offers practical guidance for lecturers adapting assessment to routine GenAI use, focusing on testing AI literacy rather than penalising students for misconduct.
- Abstract（参考訳）: 生成的人工知能(GenAI)は、教師なしオンラインアセスメントの有効性に挑戦している。
本稿では、大規模2年制の学部データベースシステムモジュールにおいて、AIを意識したAIテストアセスメントの設計と実装から教訓を報告する。
本設計は,(1) 学生が原点回答を文書化し,独自の回答を作成し,原点出力を評価する構造化三部応答形式(X1-X2-X3) と,(2) 原点課題を現代GenAIツールに対してストレステストし,汎用的プロンプトによって表層的に適切な回答が得られた場合に改訂したAI対応質問設計プロセスとを組み合わせた。
このアカウントは、アーカイブされた評価資料、筆跡、計画記録、デザインタイムのGenAIトライアル、実践応答データ、達成記録、外部レビューコメントに基づく。
その主な貢献は、測定された学習利得の主張よりも、再利用可能な評価設計手法である。
このパターンは、イテレーション間でどのように発達し、真正な評価、目に見えるAIリテラシー、学生の判断、より透明なマーキングをサポートするかを示す。
本論文は、AIリテラシーを不正行為とみなすのではなく、AIリテラシーのテストに焦点をあてて、GenAIの日常的使用に対する評価に適応する講師に対して実践的なガイダンスを提供する。
関連論文リスト
- Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education [0.0]
GenAIツールの高等教育評価への統合は、学生がAIによる評価を理解し、解釈し、反応する方法に関する重要な疑問を提起する。
本研究は,サウジアラビアの公立大学におけるコンピュータ学生のための学部技術コミュニケーション講座における定性的な教育的調査の結果を報告する。
学生は、ChatGPTがスコアとフィードバックを生成したことを明示的に知らされ、文章の評価を反映するよう求められた。
論文 参考訳（メタデータ） (2026-09-04T16:49:33Z) - Is Solving Better Than Evaluating GenAI Solutions? [45.714140455691485]
本研究では,GenAIが生成する解を,中等レベルのアルゴリズムコースで従来の問題解決法と比較する。
調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。
学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の利得に変換されなかった。
論文 参考訳（メタデータ） (2026-07-30T02:08:29Z) - Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI [47.027290803102666]
生産的AI利用を3つの評価可能なスキルに分解する能力モデルであるCoRe-3(Co-Reasoning)を提案する。
理論上のスキルを基盤として、5つのテスト可能な提案を述べ、それらをCoReasoningLabでインスタンス化します。
人為的な合意と成果が次々に行われます。私たちは、計測器、データ、プロトコルをリリースします。
論文 参考訳（メタデータ） (2026-06-04T10:25:31Z) - Reimagining Assessment in the Age of Generative AI: Lessons from Open-Book Exams with ChatGPT [1.2183405753834562]
ChatGPTのような生成AIシステムは、学生がリアルタイムで説明、コード、ソリューションを生成できるようにすることで、学術的評価に関する従来の仮定に挑戦する。
この研究は、AIの使用を制限するのではなく、学生が正式な評価中に実際にそのようなシステムとどのように相互作用するかを調査する。
論文 参考訳（メタデータ） (2026-05-12T16:33:33Z) - Bridging Qualitative Rubrics and AI: A Binary Question Framework for Criterion-Referenced Grading in Engineering [5.378302855328016]
本研究では, 工学における数学的評価において, GenAI を基準付きグレーティングフレームワークに統合して, グレーディングの効率と品質を向上させる方法について検討した。
論文 参考訳（メタデータ） (2026-01-22T03:57:47Z) - Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes [0.0]
本稿では、家庭内プログラミングの課題に生成AIを使用できるアセスメントモデルを提案する。
真正学習を促進するために、クラス内のクローズドブックアセスメントは課題そのものよりも重み付けされている。
統計分析の結果,GenAI使用率と評価結果との間に有意な線形相関は認められなかった。
論文 参考訳（メタデータ） (2026-01-16T17:02:44Z) - Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots [0.38233569758620045]
本研究では,デザイン思考教育における学生ポスター評価におけるTA支援評価と比較して,AI支援評価の信頼性と精度について検討した。
その結果、インストラクターとAIによる共感点と痛み点の統計的一致は低く、視覚コミュニケーションのアライメントはわずかに高かった。
この研究は、計算効率と人間の洞察を統合するハイブリッドアセスメントモデルの必要性を強調している。
論文 参考訳（メタデータ） (2025-10-17T07:09:21Z) - From Recall to Reasoning: Automated Question Generation for Deeper Math Learning through Large Language Models [44.99833362998488]
先進数学のためのコンテンツ生成を最適化する第1ステップについて検討した。
我々は、GenAIがコース内容に関連する高品質な実践問題を生み出す能力について検討した。
論文 参考訳（メタデータ） (2025-05-17T08:30:10Z) - Dimensions of Generative AI Evaluation Design [51.541816010127256]
我々は、GenAI評価設計に関わる重要な選択を捉えるための一般的な次元のセットを提案する。
これらの次元には、評価設定、タスクタイプ、入力ソース、インタラクションスタイル、期間、メトリックタイプ、スコアリング方法が含まれる。
論文 参考訳（メタデータ） (2024-11-19T18:25:30Z) - The Great AI Witch Hunt: Reviewers Perception and (Mis)Conception of Generative AI in Research Writing [36.188062803005515]
研究執筆におけるジェネレーティブAI(GenAI)の利用は急速に増加している。
ピアレビュアーがAIによる増補された写本をどう認識するか、それとも誤認しているかは明らかでない。
我々の研究結果は、AIによって強化された文章は可読性、言語多様性、情報性を改善するが、しばしば研究の詳細や著者からの反射的な洞察を欠いていることを示唆している。
論文 参考訳（メタデータ） (2024-06-27T02:38:25Z) - OpenHEXAI: An Open-Source Framework for Human-Centered Evaluation of Explainable Machine Learning [43.87507227859493]
本稿では,XAI 手法を人間中心で評価するオープンソースフレームワーク OpenHEXAI について述べる。
OpenHEAXIは、XAIメソッドの人間中心ベンチマークを促進するための、最初の大規模なインフラ構築である。
論文 参考訳（メタデータ） (2024-02-20T22:17:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。