論文の概要: Reimagining Assessment in the Age of Generative AI: Lessons from Open-Book Exams with ChatGPT
- arxiv url: http://arxiv.org/abs/2605.12363v1
- Date: Tue, 12 May 2026 16:33:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:57.015339
- Title: Reimagining Assessment in the Age of Generative AI: Lessons from Open-Book Exams with ChatGPT
- Title（参考訳）: ジェネレーティブAI時代のアセスメント再考:ChatGPTを用いたオープンブックエキシマからの教訓
- Authors: Qusay H. Mahmoud,
- Abstract要約: ChatGPTのような生成AIシステムは、学生がリアルタイムで説明、コード、ソリューションを生成できるようにすることで、学術的評価に関する従来の仮定に挑戦する。
この研究は、AIの使用を制限するのではなく、学生が正式な評価中に実際にそのようなシステムとどのように相互作用するかを調査する。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generative AI systems such as ChatGPT challenge traditional assumptions about academic assessment by enabling students to generate explanations, code, and solutions in real time. Rather than attempting to restrict AI use, this study investigates how students actually interact with such systems during formal evaluation. Engineering students were permitted to use ChatGPT during take-home open-book exams and were required to submit interaction transcripts alongside exam solutions. This provided direct observational evidence of reasoning processes rather than relying on self-reported behavior. Qualitative analysis revealed three progressive patterns of use: answer retrieval, guided collaboration, and critical verification. While some students initially copied questions verbatim and received generic responses, many refined prompts iteratively and tested outputs. Some of the strongest evidence of reasoning appeared when students evaluated incorrect or incomplete AI responses, revealing evaluative reasoning through debugging, comparison, and justification. The presence of generative AI shifted the cognitive task of assessment from producing solutions to assessing solution validity. The findings suggest that, in AI-mediated assessment environments, correctness of final answers alone may no longer provide sufficient evidence of comprehension. Instead, competencies such as prompt formulation, verification, and judgment become visible indicators of learning. Transparent integration of AI appeared to reduce focus on rule avoidance and promote self-regulation. Assessments should evolve to evaluate reasoning about solutions rather than independent solution production. Generative AI therefore does not invalidate assessment but has the potential to expose deeper forms of understanding aligned with professional practice.
- Abstract（参考訳）: ChatGPTのような生成AIシステムは、学生がリアルタイムで説明、コード、ソリューションを生成できるようにすることで、学術的評価に関する従来の仮定に挑戦する。
この研究は、AIの使用を制限するのではなく、学生が正式な評価中に実際にそのようなシステムとどのように相互作用するかを調査する。
工学生は自家製オープンブック試験でChatGPTの使用を許可され、試験ソリューションと並行して対話書の提出が求められた。
これは、自己報告された行動に頼るのではなく、推論過程の直接的な観察的な証拠となった。
質的分析では、回答検索、ガイド付き協調、批判的検証の3つの段階的な利用パターンが明らかになった。
学生の中には、最初は口頭で質問をコピーし、一般的な反応を受け取った者もいたが、多くの洗練されたプロンプトが反復的に実行され、出力がテストされた。
学生が不正または不完全なAI応答を評価し、デバッグ、比較、正当化を通じて評価的推論を明らかにすると、推論の最も強い証拠が現れた。
生成AIの存在により、評価の認知タスクは、ソリューションの生成から、ソリューションの有効性の評価へと移行した。
この結果は、AIによる評価環境では、最終回答の正しさだけでは理解の十分な証拠が得られないことを示唆している。
代わりに、迅速な定式化、検証、判断などの能力が学習の目に見える指標となる。
AIの透過的な統合は、ルール回避への焦点を減らし、自己規制を促進するように思われた。
評価は、独立したソリューション生産ではなく、ソリューションに関する推論を評価するために進化すべきである。
したがって、生成的AIは評価を無効にしないが、専門的な実践と整合した理解のより深い形態を明らかにする可能性がある。
関連論文リスト
- When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Trust and Reliance on AI in Education: AI Literacy and Need for Cognition as Moderators [2.0391237204597363]
プログラミング課題において,学生の信頼度が,AIアシスタントへの適切な依存度にどのように関係しているかを検討する。
学生の回答が適切なAIアシスタントの提案の活用を反映する程度に行動依存を運用する。
論文 参考訳（メタデータ） (2026-04-01T16:38:47Z) - Strategies for Creating Uncertainty in the AI Era to Trigger Students Critical Thinking: Pedagogical Design, Assessment Rubric, and Exam System [0.0]
生成的試験 AIは、学生が理解や推論を示さずに正しい回答を得られるようにすることで、従来の評価に挑戦する。
この研究はAIではなく、AIを教育に組み込む一つの方法は、AIモデルの助けを借りて不確実な状況を作り出すことだ、と論じている。
我々は,AIツールを統合した試験システムであるMindsaicAIExamを紹介する。
論文 参考訳（メタデータ） (2026-01-17T10:29:43Z) - The Conversational Exam: A Scalable Assessment Design for the AI Era [1.4323566945483497]
そこで本稿では,学生のコードを生かして評価の妥当性を復元する,スケーラブルな口頭検査方式を提案する。
わずか2日間で58名の小学生を対象に, 口腔内試験が一般的なクラスサイズに拡大できることを実証した。
論文 参考訳（メタデータ） (2026-01-15T18:50:48Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。
評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。
今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
論文 参考訳（メタデータ） (2025-05-31T19:43:00Z) - Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking [0.0]
本研究は, 検出ではなく, 評価設計に基づく能動的AIレジリエントソリューションを提案する。
WebベースのPythonツールで、Bloomの分類と高度な自然言語処理技術を統合する。
これは、タスクがリコールや要約のような下位の思考や、分析、評価、作成といった上位のスキルを目標にしているかどうかを教育者が判断するのに役立つ。
論文 参考訳（メタデータ） (2025-03-30T23:13:00Z) - AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [15.969280805269976]
AERA Chatは、生徒の回答の自動評価のために設計されたインタラクティブな視覚化プラットフォームである。
AERA Chatは複数の言語モデル(LLM)を活用して、生徒の回答を同時にスコアし、説明的合理性を生成する。
複数のデータセットに対する複数の合理的生成手法の評価を通じて,プラットフォームの有効性を実証する。
論文 参考訳（メタデータ） (2024-10-12T11:57:53Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。