論文の概要: Student Data Paradox and Curious Case of Single Student-Tutor Model: Regressive Side Effects of Training LLMs for Personalized Learning

• arxiv url: http://arxiv.org/abs/2404.15156v2
• Date: Sat, 05 Oct 2024 08:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:39:51.768310
• Title: Student Data Paradox and Curious Case of Single Student-Tutor Model: Regressive Side Effects of Training LLMs for Personalized Learning
• Title（参考訳）: 学生データパラドックスと単教師モデルの奇抜な事例--個人化学習におけるLLMの回帰的側面の効果
• Authors: Shashank Sonkar, Naiming Liu, Richard G. Baraniuk,
• Abstract要約: パーソナライズされた教育の追求は、知的学習システムの開発におけるLarge Language Models(LLM)の統合につながった。 我々の研究は、このアプローチの根本的な課題を明らかにする:学生データパラドックス」 このパラドックスは、学習者の行動を理解するために学生データに基づいて訓練されたLLMが、故意に自身の事実的知識と推論能力を損なうときに現れる。
• 参考スコア（独自算出の注目度）: 25.90420385230675
• License:
• Abstract: The pursuit of personalized education has led to the integration of Large Language Models (LLMs) in developing intelligent tutoring systems. To better understand and adapt to individual student needs, including their misconceptions, LLMs need to be trained on extensive datasets of student-tutor dialogues. Our research uncovers a fundamental challenge in this approach: the ``Student Data Paradox.'' This paradox emerges when LLMs, trained on student data to understand learner behavior, inadvertently compromise their own factual knowledge and reasoning abilities. We investigate this paradox by training state-of-the-art language models on student-tutor dialogue datasets and evaluating their performance across multiple benchmarks. These benchmarks assess various aspects of language model capabilities, including reasoning, truthfulness, and common sense understanding. Our findings reveal significant declines in the models' performance across these diverse benchmarks, indicating a broad impact on their capabilities when trained to model student behavior. Our research makes two primary contributions: (1) empirical demonstration of the Student Data Paradox through quantitative analysis of model performance, and (2) introduction of ``hallucination tokens'' as a mitigation strategy. These tokens, while improving performance, highlight the persistent challenge of balancing accurate student behavior modeling with maintaining the LLM's integrity as an educational tool. This study emphasizes the need for innovative solutions to reconcile the conflicting goals of faithfully understanding diverse student cognition while preserving the model's ability to provide accurate information and guidance.
• Abstract（参考訳）: パーソナライズされた教育の追求は、知的学習システムの開発におけるLarge Language Models(LLM)の統合につながった。 誤解を含む個々の学生のニーズをよりよく理解し、適応するためには、LLMは学生と教師の対話の広範なデータセットで訓練される必要がある。 我々の研究は、このアプローチの根本的な課題を明らかにしている。 「''このパラドックスは、学習者の行動を理解するために学生データに基づいて訓練されたLLMが、故意に自らの事実知識と推論能力を損なうときに現れる。 このパラドックスは、学生と教師の対話データセット上で最先端の言語モデルを訓練し、複数のベンチマークでそれらの性能を評価することで検証する。 これらのベンチマークは、推論、真理性、常識理解など、言語モデル機能のさまざまな側面を評価する。 この結果から, モデルの性能は, 様々なベンチマークで著しく低下しており, 学生の振る舞いをモデル化する際の能力に幅広い影響を及ぼすことが示された。 本研究は,(1)モデル性能の定量的分析による学生データパラドックスの実証的実証,(2)緩和戦略としての「ハロシン化トークン」の導入,の2つの主要な貢献を行う。 これらのトークンは、性能を改善しながら、教育ツールとしてのLLMの完全性を維持することで、正確な学生行動モデリングのバランスをとるという永続的な課題を強調している。 本研究は、モデルが正確な情報やガイダンスを提供する能力を維持しつつ、多様な学生の認知を忠実に理解することの相反する目標を整合させる革新的なソリューションの必要性を強調した。

関連論文リスト

• Students Rather Than Experts: A New AI For Education Pipeline To Model More Human-Like And Personalised Early Adolescences [11.576679362717478]
  本研究は,仮想学生エージェントをモデル化するための文脈としての言語学習に焦点を当てた。 教師と生徒の個人的交流のデータセットを様々な性格特性でキュレートすることにより,多次元的評価実験を行う。
  論文  参考訳（メタデータ） (2024-10-21T07:18:24Z)
• LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
  本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。 真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。 我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
  論文  参考訳（メタデータ） (2024-10-16T06:51:09Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Enhancing Student Performance Prediction on Learnersourced Questions with SGNN-LLM Synergy [11.735587384038753]
  本稿では,SGNN(Signed Graph Neural Networks)とLLM(Large Language Model)を統合化するための革新的な戦略を提案する。 提案手法では, 学生の回答を包括的にモデル化するための署名付き二部グラフを用いて, 雑音耐性を高めるコントラスト学習フレームワークを補完する。
  論文  参考訳（メタデータ） (2023-09-23T23:37:55Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Student-centric Model of Learning Management System Activity and Academic Performance: from Correlation to Causation [2.169383034643496]
  近年,学生の学習行動パターンを理解するために,学習管理システム(LMS)における学習者のデジタルトレースのモデル化に多くの関心が寄せられている。 本稿では,LMS活動データに対する学生中心の分析フレームワークについて検討し,観察データから抽出した相関性だけでなく因果的洞察も提供する。 これらの知見は、大学生支援団体が学生中心で標的とする介入を開始するための証拠となると期待している。
  論文  参考訳（メタデータ） (2022-10-27T14:08:25Z)
• Knowledge Tracing for Complex Problem Solving: Granular Rank-Based Tensor Factorization [6.077274947471846]
  グラニュラーRAnkに基づくTEnsor Factorization (GRATE) を用いた新しい学生知識追跡手法を提案する。 GRATEは、問題における生徒のパフォーマンスを予測し、それらに提示される概念を発見しながら集約できる学生の試みを選択する。 実世界の3つのデータセットに対する実験は、最先端のベースラインに比べてGRATEの性能が向上したことを示している。
  論文  参考訳（メタデータ） (2022-10-06T06:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。