Fugu-MT 論文翻訳(概要): Knowledge Distillation for Automated AI Tutor Evaluation

論文の概要: Knowledge Distillation for Automated AI Tutor Evaluation

arxiv url: http://arxiv.org/abs/2607.10647v1
Date: Sun, 12 Jul 2026 08:28:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.491025
Title: Knowledge Distillation for Automated AI Tutor Evaluation
Title（参考訳）: 自動AIチュータ評価のための知識蒸留
Abstract要約: 本稿では,FATE(FLC AI Tutor Evaluator)を紹介する。 BEA 2025 Shared Taskの4つのコア評価トラックと並行して、私たちのモデルは、ミステイク識別、ミステイクロケーション、ガイダンス、アクションビリティを横断する教育能力を評価します。我々は、ChatGPT、Claude、Gemini、DeepSeekなど、一般的な商用モデルによって生成される命令応答をベンチマークすることで、FATEのユーティリティを自動評価器として示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid integration of Large Language Models (LLMs) into K-12 and higher education has outpaced the development of reliable methods for evaluating their pedagogical quality. As the research community starts to explore the space of automating evaluation of AI tutors, we introduce FATE (FLC AI Tutor Evaluator), a specialized 8B-parameter language model designed to evaluate AI tutors. Aligned with the four core evaluation tracks from the BEA 2025 Shared Task, our model assesses pedagogical ability across Mistake Identification, Mistake Location, Guidance, and Actionability. Because pedagogical evaluation is a specialized task with limited labeled data, we leverage knowledge distillation from a frontier LLM to generate additional supervision, yielding absolute performance gains up to 22.63 percentage points. Finally, we demonstrate FATE's utility as an automated evaluator by benchmarking instructional responses generated by popular commercial models, including ChatGPT, Claude, Gemini, and DeepSeek. On average, we have found that Gemini 2.5 Flash perfomed best (82.88%), then ChatGPT 5.5 Instant (80.75%), followed by DeepSeek V4 Flash (80.13%) and Claude Sonnet 4.6 (74.00%).
Abstract（参考訳）: 大規模言語モデル(LLM)のK-12への迅速な統合と高等教育は、教育の質を評価するための信頼性の高い手法の開発を上回っている。研究コミュニティがAIチューターの評価を自動化する領域を探求し始めると、AIチューターを評価するように設計された専門的な8Bパラメータ言語モデルであるFATE(FLC AI Tutor Evaluator)を導入する。 BEA 2025 Shared Taskの4つのコア評価トラックと並行して、私たちのモデルは、ミステイク識別、ミステイクロケーション、ガイダンス、アクションビリティを横断する教育能力を評価します。教育評価はラベル付きデータに制限のある専門的なタスクであるため、フロンティアのLLMからの知識蒸留を活用してさらなる監督を行い、絶対的な性能向上率は22.63ポイントに達する。最後に、ChatGPT、Claude、Gemini、DeepSeekなど、一般的な商用モデルによって生成される命令応答をベンチマークすることで、FATEが自動評価器として有効であることを示す。平均して、Gemini 2.5 Flashがベスト(82.88%)、ChatGPT 5.5 Instant(80.75%)、DeepSeek V4 Flash(80.13%)、Claude Sonnet 4.6(74.00%)が続く。

関連論文リスト

EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models [66.28519000191191]
EmoSBenchは、Spoken Language Modelsの最初の包括的なEI評価ベンチマークである。 EmoSは83.8%の精度に達し、人間レベルのパフォーマンスに近づいている。
論文参考訳（メタデータ） (2026-08-10T06:58:30Z)
EduGuard: A Safe RAG-Based LLM Tutor for Programming Education [1.2999518604217852]
ジェネレーティブAI(GenAI)は、プログラミングの説明、デバッグ、代入サポートに学生によってますます利用されている。本稿では,提案プログラムのための安全な検索強化世代(RAG)学習フレームワークであるEduGuardについて述べる。 EduGuardは、クエリ理解、インストラクターが承認したコース検索、教育戦略選択、ルーリック・アウェア生成、クレームレベルの検証、オーバー信頼制御を統合している。
論文参考訳（メタデータ） (2026-07-17T08:18:18Z)
PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents [53.369140518949656]
外部知識グラフ(KG)の統合により,大規模言語モデル(LLM)ベースのシステムを強化する新しいフレームワークであるPersonalAI 2.0(PAI-2)を紹介する。提案手法は,動的でマルチステージなクエリ処理パイプラインを組み込むことにより,既存のGraphRAG(Retrieval-Augmented Generation)メソッドの重要な制限に対処する。グラフアルゴリズム(例えば、BeamSearch、WaterCircles)は、平均6%の標準フラットテンレトリバーよりも優れた結果が得られる一方で、検索計画強化機構は、6つのデータセットにわたるLLM-as-a-Judgeによる障害アルゴリズムに比べて18%向上することを示す。
論文参考訳（メタデータ） (2026-05-13T13:06:30Z)
From Domain Understanding to Design Readiness: a playbook for GenAI-supported learning in Software Engineering [0.4737991126491217]
そこでは29人の生徒が暗号化の基礎を学ぶためにカスタマイズされたChatGPTチューターを使用していた。その結果,genAIが支援する学習はドメイン理解とモデリングタスクの指導を補完し,音質やフォローアップ構造を改善する余地を残していることが示唆された。
論文参考訳（メタデータ） (2026-03-31T18:27:42Z)
Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
論文参考訳（メタデータ） (2025-10-20T17:52:06Z)
Findings of the BEA 2025 Shared Task on Pedagogical Ability Assessment of AI-powered Tutors [6.891852148875869]
このタスクは、AIチューターのパフォーマンスを、誤識別の重要な次元にわたって自動的に評価するように設計された5つのトラックで構成されている。 4つの教育能力評価トラックの最良の結果は、マクロF1スコア58.34(ガイダンス提供)と3クラスの問題に対する71.81(誤識別)の範囲である。
論文参考訳（メタデータ） (2025-07-11T10:57:36Z)
Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
論文参考訳（メタデータ） (2025-04-17T17:53:54Z)
Do Tutors Learn from Equity Training and Can Generative AI Assess It? [2.116573423199236]
本研究では,教師のスキル向上のためのオンライン授業において,教師のパフォーマンスを評価する。教師の自己報告による知識への信頼度の増加に伴い,学習の習得率が著しく向上することがわかった。この作業では、レッスンログデータ、チューター応答、人間のアノテーション用のルーブリック、生成AIプロンプトのデータセットが利用可能になる。
論文参考訳（メタデータ） (2024-12-15T17:36:40Z)
Unifying AI Tutor Evaluation: An Evaluation Taxonomy for Pedagogical Ability Assessment of LLM-Powered AI Tutors [7.834688858839734]
我々は,現在最先端の大規模言語モデル (LLM) がAI家庭教師として有効かどうかを検討する。本研究では,キーラーニング科学の原則に基づく8つの教育次元を持つ統一的な評価分類法を提案する。 MRBench - 192の会話と1,596の回答を含む新しい評価ベンチマーク。
論文参考訳（メタデータ） (2024-12-12T16:24:35Z)
Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
論文参考訳（メタデータ） (2024-11-23T08:06:06Z)
LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
論文参考訳（メタデータ） (2021-09-23T16:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。