論文の概要: Learning Context Matters: Measuring and Diagnosing Personalization Gaps in LLM-Based Instructional Design
- arxiv url: http://arxiv.org/abs/2602.04972v1
- Date: Wed, 04 Feb 2026 19:02:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.580508
- Title: Learning Context Matters: Measuring and Diagnosing Personalization Gaps in LLM-Based Instructional Design
- Title(参考訳): 文脈の学習:LLMに基づく教育設計におけるパーソナライズギャップの測定と診断
- Authors: Johaun Hatchett, Debshila Basu Mallick, Brittany C. Bradford, Richard G. Baraniuk,
- Abstract要約: 本稿では,学習コンテキストが指導戦略選択にどう影響するかを計測・診断するための枠組みを提案する。
以上の結果から,LCは系統的かつ測定可能な命令決定の変化を誘導するが,実質的なミスアライメントは残っていない。
この分析は、LCがLLMの指導計画を実質的に形作っているが、教育学的に適切なパーソナライズを確実に誘導していないことを実証している。
- 参考スコア(独自算出の注目度): 17.619569737556205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The adoption of generative AI in education has accelerated dramatically in recent years, with Large Language Models (LLMs) increasingly integrated into learning environments in the hope of providing personalized support that enhances learner engagement and knowledge retention. However, truly personalized support requires access to meaningful Learning Context (LC) regarding who the learner is, what they are trying to understand, and how they are engaging with the material. In this paper, we present a framework for measuring and diagnosing how the LC influences instructional strategy selection in LLM-based tutoring systems. Using psychometrically grounded synthetic learning contexts and a pedagogically grounded decision space, we compare LLM instructional decisions in context-blind and context-aware conditions and quantify their alignment with the pedagogical judgments of subject matter experts. Our results show that, while providing the LC induces systematic, measurable changes in instructional decisions that move LLM policies closer to the subject matter expert policy, substantial misalignment remains. To diagnose this misalignment, we introduce a relevance-impact analysis that reveals which learner characteristics are attended to, ignored, or spuriously influential in LLM instructional decision-making. This analysis, conducted in collaboration with subject matter experts, demonstrates that LC materially shapes LLM instructional planning but does not reliably induce pedagogically appropriate personalization. Our results enable principled evaluation of context-aware LLM systems and provide a foundation for improving personalization through learner characteristic prioritization, pedagogical model tuning, and LC engineering.
- Abstract(参考訳): 学習者エンゲージメントと知識保持を強化するパーソナライズされたサポートの提供を期待して、Large Language Models (LLM) が学習環境に統合されることで、教育における生成AIの採用は、近年劇的に加速している。
しかし、真にパーソナライズされたサポートには、学習者が誰であるか、何を理解しようとしているのか、どのように材料に関わっているのかについて、意味のある学習コンテキスト(LC)にアクセスする必要がある。
本稿では,LC が LLM ベースの学習システムにおける指導戦略選択にどう影響するかを計測・診断するための枠組みを提案する。
心理指標に基づく学習コンテキストと、教育学的に基礎を成す意思決定空間を用いて、文脈ブレンド条件と文脈認識条件のLLM指導決定を比較し、被験者の教育学的判断との整合性を定量化する。
以上の結果から,LC の提供は LLM 政策を課題専門政策に近づける指導的決定の体系的かつ測定可能な変化をもたらすが,重大な誤調整は残されている。
この不一致を診断するために,LLMの指導的意思決定にどの学習者特性が関与しているか,無視するか,あるいは急激な影響があるかを明らかにする関連性影響分析を導入する。
この分析は、LCがLLMの指導計画を実質的に形作っているが、教育学的に適切なパーソナライズを確実に誘導していないことを実証している。
本研究は,学習者特性の優先順位付け,教育モデルチューニング,LCエンジニアリングによるパーソナライズ向上のための基盤を提供する。
関連論文リスト
- Multi-Agent Learning Path Planning via LLMs [10.288666777827578]
本研究では,大規模言語モデル(LLM)を利用した新しいマルチエージェント学習経路計画フレームワークを提案する。
このフレームワークは、学習者分析エージェント、経路計画エージェント、反射エージェントの3つのタスク固有エージェントを含む。
7つのLCMを用いてMOOCXデータセット上で行った実験により、MALPPはパス品質、知識シーケンスの整合性、認知負荷の整合性において、ベースラインモデルよりも著しく優れていた。
論文 参考訳(メタデータ) (2026-01-24T07:13:08Z) - Adaptive Learning Systems: Personalized Curriculum Design Using LLM-Powered Analytics [14.157213827899342]
大規模言語モデル(LLM)は、個々の学生のニーズに合わせてパーソナライズされた学習体験を可能にすることによって、教育分野に革命をもたらしている。
本稿では LLM を利用した分析を応用した適応学習システムのためのフレームワークについて紹介する。
論文 参考訳(メタデータ) (2025-07-25T04:36:17Z) - A Practical Guide for Supporting Formative Assessment and Feedback Using Generative AI [0.0]
大規模言語モデル(LLM)は、学生、教師、同僚が「学習者が行く場所」、「学習者が現在いる場所」、「学習者を前進させる方法」を理解するのに役立つ。
本総説では,LSMを形式的評価に統合するための総合的な基盤を提供する。
論文 参考訳(メタデータ) (2025-05-29T12:52:43Z) - Enhanced Bloom's Educational Taxonomy for Fostering Information Literacy in the Era of Large Language Models [16.31527042425208]
本稿では,大規模言語モデル(LLM)を用いた学生の情報リテラシー(IL)の認識と評価を目的としたLLMによるブルーム教育分類法を提案する。
このフレームワークは、LLMを使用するために必要な認知能力に対応するILを、Exploration & ActionとCreation & Metacognitionの2つの異なるステージに分類する。
論文 参考訳(メタデータ) (2025-03-25T08:23:49Z) - Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。
我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。
本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
論文 参考訳(メタデータ) (2025-02-10T19:36:21Z) - Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。