論文の概要: The Imitation Game for Educational AI

• arxiv url: http://arxiv.org/abs/2502.15127v1
• Date: Fri, 21 Feb 2025 01:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 19:42:10.362835
• Title: The Imitation Game for Educational AI
• Title（参考訳）: 教育用AIの模倣ゲーム
• Authors: Shashank Sonkar, Naiming Liu, Xinghe Chen, Richard G. Baraniuk,
• Abstract要約: 本稿では,2相チューリング様試験に基づく新しい評価フレームワークを提案する。 フェーズ1では、学生は質問に対するオープンな回答を提供し、自然な誤解を明らかにします。 フェーズ2では、AIと人間の専門家の両方が、各学生の特定のミスを条件に、新しい関連する質問に気を散らす。
• 参考スコア（独自算出の注目度）: 23.71250100390303
• License:
• Abstract: As artificial intelligence systems become increasingly prevalent in education, a fundamental challenge emerges: how can we verify if an AI truly understands how students think and reason? Traditional evaluation methods like measuring learning gains require lengthy studies confounded by numerous variables. We present a novel evaluation framework based on a two-phase Turing-like test. In Phase 1, students provide open-ended responses to questions, revealing natural misconceptions. In Phase 2, both AI and human experts, conditioned on each student's specific mistakes, generate distractors for new related questions. By analyzing whether students select AI-generated distractors at rates similar to human expert-generated ones, we can validate if the AI models student cognition. We prove this evaluation must be conditioned on individual responses - unconditioned approaches merely target common misconceptions. Through rigorous statistical sampling theory, we establish precise requirements for high-confidence validation. Our research positions conditioned distractor generation as a probe into an AI system's fundamental ability to model student thinking - a capability that enables adapting tutoring, feedback, and assessments to each student's specific needs.
• Abstract（参考訳）: 人工知能システムが教育でますます普及するにつれて、根本的な課題が浮かび上がってくる。 学習利得の測定のような従来の評価手法は、多くの変数によって構成された長い研究を必要とする。 本稿では,2相チューリング様試験に基づく新しい評価フレームワークを提案する。 フェーズ1では、学生は質問に対するオープンな回答を提供し、自然な誤解を明らかにします。 フェーズ2では、AIと人間の専門家の両方が、各学生の特定のミスを条件に、新しい関連する質問に気を散らす。 学生がAIが生成する障害を、人間の専門家が生成したものと同じような速度で選択するかどうかを分析することで、AIが学生の認知をモデル化するかどうかを検証することができる。 我々は、この評価が個々の反応で条件付けられなければならないことを証明している。 厳密な統計的サンプリング理論により、高信頼度検証の正確な要件を確立する。 我々の研究は、学生の思考をモデル化するAIシステムの基本的な能力である、各学生のニーズに合わせて学習、フィードバック、評価を適応できる能力に対する調査として、コンディショナー生成を条件付けした。

関連論文リスト

• Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs [86.79757571440082]
  OpenAIのo1のような大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示している。 我々は、o1-like LLMがしばしば異なる理性的思考を切り替える、という現象を特定する。 本稿では,思考間の早期移行を回避できる思考切替ペナルティTIPを用いた復号戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-30T18:58:18Z)
• The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
  我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。 スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。 本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-15T10:34:06Z)
• Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments [0.0]
  評価に複数の選択質問が広く使用されているにもかかわらず、AI不正の検出はほとんど調査されていない。 本稿では,このギャップに対処するための項目応答理論の適用法を提案する。 我々のアプローチは、人工知能と人間の知性が異なる応答パターンを示すという仮定に基づいている。
  論文  参考訳（メタデータ） (2024-11-28T09:43:06Z)
• LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
  本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。 真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。 我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
  論文  参考訳（メタデータ） (2024-10-16T06:51:09Z)
• Determining the Difficulties of Students With Dyslexia via Virtual Reality and Artificial Intelligence: An Exploratory Analysis [0.0]
  VRAIlexiaプロジェクトは、この問題を解決するために、2つの異なるツールを提案している。 最初のものは、特定の心理学的・心理学的テストの実施のために、高等教育機関(Higher Education Institutions)のディプレックス学の学生の間で作成され、配布されている。 第2のツールは、アプリケーションやその他の調査を通じて収集されたデータに、特定の人工知能アルゴリズムを適用する。
  論文  参考訳（メタデータ） (2024-01-15T20:26:09Z)
• Assessing Student Errors in Experimentation Using Artificial Intelligence and Large Language Models: A Comparative Study with Human Raters [9.899633398596672]
  学生の誤りを自動的に識別するLarge Language Models (LLMs) の可能性を検討する。 GPT-3.5とGPT-4をベースとしたAIシステムを開発・試験した。 以上の結果から,AIシステムとレーダ間の誤差検出における精度の差が示唆された。
  論文  参考訳（メタデータ） (2023-08-11T12:03:12Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)
• Human Evaluation of Interpretability: The Case of AI-Generated Music Knowledge [19.508678969335882]
  我々は、芸術と人文科学におけるAIが発見する知識/ルールを評価することに注力する。 本稿では,洗練された記号的/数値的対象として表現されたAI生成音楽理論/ルールの人間生成言語解釈を収集し,評価する実験手法を提案する。
  論文  参考訳（メタデータ） (2020-04-15T06:03:34Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)
• R2DE: a NLP approach to estimating IRT parameters of newly generated questions [3.364554138758565]
  R2DEは、質問のテキストを見て、新しく生成された複数の選択の質問を評価することができるモデルである。 特に、各質問の難易度と識別度を推定することができる。
  論文  参考訳（メタデータ） (2020-01-21T14:31:01Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。