論文の概要: The end of multiple choice tests: using AI to enhance assessment

• arxiv url: http://arxiv.org/abs/2406.07481v1
• Date: Tue, 11 Jun 2024 17:24:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:45:44.667190
• Title: The end of multiple choice tests: using AI to enhance assessment
• Title（参考訳）: 複数の選択テストの終了:AIを使ってアセスメントを強化する
• Authors: Michael Klymkowsky, Melanie M. Cooper,
• Abstract要約: 研究ベースの気晴らし(短い回答)を使うことは、本質的に彼らの提供する洞察に限られています。 これらの制限に対処するため、学生になぜ答えを選んだのかを説明することを勧める。 訓練された人工知能ベースのボットを使用して、説明を分析することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effective teaching relies on knowing what students know-or think they know. Revealing student thinking is challenging. Often used because of their ease of grading, even the best multiple choice (MC) tests, those using research based distractors (wrong answers) are intrinsically limited in the insights they provide due to two factors. When distractors do not reflect student beliefs they can be ignored, increasing the likelihood that the correct answer will be chosen by chance. Moreover, making the correct choice does not guarantee that the student understands why it is correct. To address these limitations, we recommend asking students to explain why they chose their answer, and why "wrong" choices are wrong. Using a discipline-trained artificial intelligence-based bot it is possible to analyze their explanations, identifying the concepts and scientific principles that maybe missing or misapplied. The bot also makes suggestions for how instructors can use these data to better guide student thinking. In a small "proof of concept" study, we tested this approach using questions from the Biology Concepts Instrument (BCI). The result was rapid, informative, and provided actionable feedback on student thinking. It appears that the use of AI addresses the weaknesses of conventional MC test. It seems likely that incorporating AI-analyzed formative assessments will lead to improved overall learning outcomes.
• Abstract（参考訳）: 効果的な教育は、生徒が知っていることを知ること、または自分が知っていると考えることに依存する。 学生の思考の啓発は難しい。 グレーディングの容易さ、最良の多重選択テスト(MC)テストでさえも、研究ベースのインタラプタ(短い回答)を使用したテストは、本質的に2つの要因によって提供される洞察に制限される。 気晴らし者が学生の信念を反映していない場合は無視でき、正しい答えが偶然に選ばれる可能性を高める。 さらに、正しい選択を行うことは、学生がそれが正しい理由を理解することを保証しない。 これらの制限に対処するため、学生になぜ答えを選んだのか、なぜ「間違った」選択が間違っているのかを説明することを勧める。 訓練された人工知能ベースのボットを使用することで、その説明を分析し、おそらく欠落または誤適用した概念と科学的原則を特定することができる。 このボットは、インストラクターがこれらのデータを使って学生の思考をガイドする方法も提案している。 そこで我々は,BCI (Biology Concepts Instrument) からの質問に答えて,この手法を検証した。 結果は迅速で情報的であり、学生の思考に実用的なフィードバックを与えた。 AIの使用は、従来のMCテストの弱点に対処しているようだ。 AI分析による形式的評価を取り入れることで、全体的な学習結果が改善される可能性が高い。

関連論文リスト

• How Well Can You Articulate that Idea? Insights from Automated Formative Assessment [2.2124180701409233]
  学生の理科解説エッセイに対する自動フィードバックについて検討する。 ルーブリックの主な考え方は、説明の自由がどの程度あるかという点で異なることが分かる。 自動決定プロセスのトレースにより、学生の声明に十分な明快さが欠如している場合に診断できる。
  論文  参考訳（メタデータ） (2024-04-17T18:27:59Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• Active Reward Learning from Multiple Teachers [17.10187575303075]
  逆学習アルゴリズムは人間のフィードバックを利用して報酬関数を推論し、AIシステムのトレーニングに使用される。 この人間のフィードバックはしばしば好みの比較であり、人間の教師はAI行動のいくつかのサンプルを比較し、その目的を最も達成したと考えるものを選択する。 報酬学習は通常、すべてのフィードバックは1人の教師から来ると仮定するが、実際には、これらのシステムは複数の教師に十分なトレーニングデータを集めるよう問い合わせることが多い。
  論文  参考訳（メタデータ） (2023-03-02T01:26:53Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Increasing Students' Engagement to Reminder Emails Through Multi-Armed Bandits [60.4933541247257]
  本稿では,学生が週毎のメールリマインダーとどのように関わり,時間管理の習慣を構築するかについて,実世界の適応実験を行った。 適応実験にマルチアーマド・バンド(MAB)アルゴリズムを用いると、より良い結果が得られる可能性が高まる。 我々は、これらの適応アルゴリズムの問題点を強調します。例えば、大きな違いがない場合の腕の活用などです。
  論文  参考訳（メタデータ） (2022-08-10T00:30:52Z)
• Question Personalization in an Intelligent Tutoring System [5.644357169513361]
  教科能力の異なる学生に合った質問を生成すれば,生徒の学習能力が向上することを示す。 この知見は,質問の言語的実現が学生の学習結果に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:23:51Z)
• Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning [19.324012098032515]
  難しい意思決定をしながらアドバイスを受けるとき、彼らはしばしば、その時点でより良い意思決定を行い、プロセスにおける知識を増加させます。 人々がAIから受け取った情報やアドバイスをどのように処理し、学習を可能にするのに十分な情報を深く取り込むのか? この研究は、AI生成レコメンデーションとともに説明を含めるだけでは十分でないという、これまでで最も直接的な証拠をいくつか提示する。
  論文  参考訳（メタデータ） (2022-02-11T01:28:59Z)
• The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning [59.777127897688594]
  サブゴールオプションのさらなる学習に使用できる、オンラインでモデルフリーなアルゴリズムを提案する。 訓練データ収集におけるハード・ソフト・アテンションの役割,長期的タスクにおける抽象的価値学習,および多数の選択肢に対する対処について検討する。
  論文  参考訳（メタデータ） (2022-01-24T13:18:02Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Option Tracing: Beyond Correctness Analysis in Knowledge Tracing [3.1798318618973362]
  既存の知識追跡手法を拡張して,学生が選択した質問の正確な選択肢を予測する。 2つの大規模学生応答データセットにおけるオプション追跡手法の性能を定量的に評価した。
  論文  参考訳（メタデータ） (2021-04-19T04:28:34Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。