論文の概要: Pedagogy-driven Evaluation of Generative AI-powered Intelligent Tutoring Systems
- arxiv url: http://arxiv.org/abs/2510.22581v1
- Date: Sun, 26 Oct 2025 08:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:15.252928
- Title: Pedagogy-driven Evaluation of Generative AI-powered Intelligent Tutoring Systems
- Title（参考訳）: Pedagogy-driven Evaluation of Generative AI-powered Intelligent Tutoring Systems
- Authors: Kaushal Kumar Maurya, Ekaterina Kochmar,
- Abstract要約: ジェネレーティブAI(GenAI)モデルは,大規模言語モデル(LLM)を利用したインテリジェントチューニングシステム(ITS)の開発を加速した
しかしながら、これらのシステムの進歩と影響は、信頼性があり、広く受け入れられ、教育主導の評価フレームワークやベンチマークが欠如しているため、ほとんど追跡できないままである。
既存の教育対話に基づくIT評価の多くは、主観的プロトコルと非標準ベンチマークに依存しており、矛盾と限定的な一般化性につながっている。
この研究は、AIED研究の注意とケアから現実のケーススタディを通じて、関連する課題を強調する、総合的な最先端の評価プラクティスを提供する。
- 参考スコア（独自算出の注目度）: 15.954407353419258
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The interdisciplinary research domain of Artificial Intelligence in Education (AIED) has a long history of developing Intelligent Tutoring Systems (ITSs) by integrating insights from technological advancements, educational theories, and cognitive psychology. The remarkable success of generative AI (GenAI) models has accelerated the development of large language model (LLM)-powered ITSs, which have potential to imitate human-like, pedagogically rich, and cognitively demanding tutoring. However, the progress and impact of these systems remain largely untraceable due to the absence of reliable, universally accepted, and pedagogy-driven evaluation frameworks and benchmarks. Most existing educational dialogue-based ITS evaluations rely on subjective protocols and non-standardized benchmarks, leading to inconsistencies and limited generalizability. In this work, we take a step back from mainstream ITS development and provide comprehensive state-of-the-art evaluation practices, highlighting associated challenges through real-world case studies from careful and caring AIED research. Finally, building on insights from previous interdisciplinary AIED research, we propose three practical, feasible, and theoretically grounded research directions, rooted in learning science principles and aimed at establishing fair, unified, and scalable evaluation methodologies for ITSs.
- Abstract（参考訳）: 人工知能教育の学際的研究領域(AIED)は、技術進歩、教育理論、認知心理学の知見を統合することで知能学習システム(ITS)を開発する長い歴史を持っている。
ジェネレーティブAI(GenAI)モデルの顕著な成功により、大きな言語モデル(LLM)を搭載したITSの開発が加速され、人間のような、教育的に豊かで、認知的に要求される家庭教師を模倣する可能性がある。
しかしながら、これらのシステムの進歩と影響は、信頼性があり、広く受け入れられ、教育主導の評価フレームワークやベンチマークが欠如しているため、ほとんど追跡できないままである。
既存の教育対話に基づくIT評価の多くは、主観的プロトコルと非標準ベンチマークに依存しており、矛盾と限定的な一般化性につながっている。
本研究は、メインストリームのITS開発から一歩後退し、AIED研究の注意とケアによる実世界のケーススタディを通じて、関連する課題を強調し、最先端の評価プラクティスを包括的に提供する。
最後に,従来の学際的AIED研究から得られた知見に基づいて,理科の原理を根ざした3つの実践的・実現可能・理論的基礎研究の方向性を提案し,ITSの公正で統一的でスケーラブルな評価手法を確立することを目的とした。
関連論文リスト
- AI-Educational Development Loop (AI-EDL): A Conceptual Framework to Bridge AI Capabilities with Classical Educational Theories [8.500617875591633]
本研究では、古典的学習理論とAIを融合した理論駆動型フレームワークであるAI-Educational Development Loop(AI-EDL)を紹介する。
このフレームワークは透明性、自己統制型学習、教育的監視を強調している。
論文 参考訳（メタデータ） (2025-08-01T15:44:19Z) - A Comprehensive Review of AI-based Intelligent Tutoring Systems: Applications and Challenges [0.4369550829556578]
我々は、体系的な文献レビュー手法を用いて、2010年から2025年にかけて発行された数多くの資格ある研究を分析した。
その結果、ITSの有効性に関する複雑な状況が明らかとなり、進歩と永続的な課題の両方が浮き彫りにされた。
論文 参考訳（メタデータ） (2025-07-25T01:43:07Z) - A Inteligência Artificial Generativa no Ecossistema Acadêmico: Uma Análise de Aplicações, Desafios e Oportunidades para a Pesquisa, o Ensino e a Divulgação Científica [0.0]
高等教育におけるジェネレーティブ・人工知能の迅速かつ破壊的な統合は、基本的な学術的実践を変えつつある。
主な課題は、学術的完全性への脅威、アルゴリズムバイアスのリスク、堅牢なAIリテラシーの必要性である。
学術の未来は、この技術に対する抵抗によって定義されるのではなく、組織や個人が批判的に、倫理的に、創造的にそれに関与する能力によって定義される。
論文 参考訳（メタデータ） (2025-07-03T18:23:18Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Advancing Education through Tutoring Systems: A Systematic Literature Review [3.276010440333338]
本研究は,知能学習システム (ITS) とロボット学習システム (RTS) を包含した学習システムの変革的役割を体系的にレビューする。
この発見は、適応性、エンゲージメント、学習結果を向上するAI技術の著しい進歩を示している。
この研究は、ITSとRTSの相補的な強みを強調し、教育効果を最大化するために統合されたハイブリッドソリューションを提案する。
論文 参考訳（メタデータ） (2025-03-12T18:47:07Z) - Generative AI and Its Impact on Personalized Intelligent Tutoring Systems [0.0]
生成AIは、動的コンテンツ生成、リアルタイムフィードバック、適応学習経路を通じてパーソナライズされた教育を可能にする。
報告では、自動質問生成、カスタマイズされたフィードバック機構、対話システムなどの重要な応用について検討する。
今後の方向性は、マルチモーダルAI統合の潜在的な進歩、学習システムにおける感情的知性、そしてAI駆動型教育の倫理的意味を強調する。
論文 参考訳（メタデータ） (2024-10-14T16:01:01Z) - The Future of Fundamental Science Led by Generative Closed-Loop
Artificial Intelligence [67.70415658080121]
機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。
AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。
ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
論文 参考訳（メタデータ） (2023-07-09T21:16:56Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。