論文の概要: The Conversational Exam: A Scalable Assessment Design for the AI Era
- arxiv url: http://arxiv.org/abs/2601.10691v1
- Date: Thu, 15 Jan 2026 18:50:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:19.278214
- Title: The Conversational Exam: A Scalable Assessment Design for the AI Era
- Title(参考訳): The Conversational Exam: AI時代のスケーラブルなアセスメント設計
- Authors: Lorena A. Barba, Laura Stegner,
- Abstract要約: そこで本稿では,学生のコードを生かして評価の妥当性を復元する,スケーラブルな口頭検査方式を提案する。
わずか2日間で58名の小学生を対象に, 口腔内試験が一般的なクラスサイズに拡大できることを実証した。
- 参考スコア(独自算出の注目度): 1.4323566945483497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional assessment methods collapse when students use generative AI to complete work without genuine engagement, creating an illusion of competence where they believe they're learning but aren't. This paper presents the conversational exam -- a scalable oral examination format that restores assessment validity by having students code live while explaining their reasoning. Drawing on human-computer interaction principles, we examined 58 students in small groups across just two days, demonstrating that oral exams can scale to typical class sizes. The format combines authentic practice (students work with documentation and supervised AI access) with inherent validity (real-time performance cannot be faked). We provide detailed implementation guidance to help instructors adapt this approach, offering a practical path forward when many educators feel paralyzed between banning AI entirely or accepting that valid assessment is impossible.
- Abstract(参考訳): 従来のアセスメント手法は、学生が生成AIを使って真のエンゲージメントなしに仕事を完了すると崩壊する。
本論文は,学生のコードを生かして評価の妥当性を回復する,スケーラブルな口頭検査方式である会話試験について述べる。
人-コンピュータインタラクションの原則に基づき、2日間で58人の小集団の学生を調査し、口頭試験が一般的なクラスサイズにスケールできることを実証した。
このフォーマットは、真正な実践(ドキュメントと教師付きAIアクセスを扱う学生)と固有の妥当性(リアルタイムのパフォーマンスは偽造できない)を組み合わせる。
我々は、AIを完全に禁止するか、有効なアセスメントが不可能であることを認めている多くの教育者が麻痺していると感じた場合、インストラクターがこのアプローチを適応するための詳細な実装ガイダンスを提供する。
関連論文リスト
- UCO: A Multi-Turn Interactive Reinforcement Learning Method for Adaptive Teaching with Large Language Models [59.693733170193944]
大規模言語モデル(LLM)は、教育環境において、回答提供者からインテリジェントな家庭教師へとシフトしている。
最近の強化学習アプローチはこの制限に対処するが、2つの重要な課題に直面している。
これらの課題に対処するために一方向認知最適化法(UCO)を提案する。
論文 参考訳(メタデータ) (2025-11-12T01:27:02Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳(メタデータ) (2025-08-28T06:03:11Z) - Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。
評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。
今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
論文 参考訳(メタデータ) (2025-05-31T19:43:00Z) - From Coders to Critics: Empowering Students through Peer Assessment in the Age of AI Copilots [3.3094795918443634]
本稿では,大規模プログラミングコースで実装されたルーリックベースで匿名化されたピアレビュープロセスについて,実証的研究を行う。
学生同士の最終プロジェクト(2Dゲーム)を評価し,その評価を,相関,平均絶対誤差,根平均二乗誤差(RMSE)を用いたインストラクターの成績と比較した。
その結果、ピアレビューは、インストラクターの評価を適度な精度で近似し、学生のエンゲージメント、評価的思考、そして仲間に良いフィードバックを提供することへの関心を高めることができた。
論文 参考訳(メタデータ) (2025-05-28T08:17:05Z) - Supporting Students' Reading and Cognition with AI [12.029238454394445]
私たちは124セッションのテキストをAIツールで分析し、ユーザの読書プロセスと認知的エンゲージメントを理解しました。
我々は、低レベルの認知タスクのための構造化足場を含む、将来のAI読解支援システムの設計意味について提案する。
私たちは、学生やインストラクターがAIで読書体験をカスタマイズできる適応的で人間的なループ機能を提案しています。
論文 参考訳(メタデータ) (2025-04-07T17:51:27Z) - Leveraging Large Language Models for Actionable Course Evaluation Student Feedback to Lecturers [6.161370712594005]
コンピュータサイエンス科の75科以上で742名の学生が回答した。
各コースについて,授業評価項目と動作可能な項目の要約を合成する。
本研究は, 授業環境における教師に対して, 実感的, 行動的, 適切なフィードバックを生み出すために, 生成的AIを使用する可能性を強調した。
論文 参考訳(メタデータ) (2024-07-01T13:29:55Z) - Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies [1.633179643849375]
ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
論文 参考訳(メタデータ) (2023-11-27T20:10:13Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses [15.642614735026106]
大学レベル32科目におけるChatGPTの成績を比較した。
また,ChatGPTの成績は,多くの科目における生徒の成績と同等であることがわかった。
このツールを使用する学生や、これを盗作として扱う教育者の間では、新たなコンセンサスが高まっている。
論文 参考訳(メタデータ) (2023-05-07T10:37:51Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。