論文の概要: Regressive Side Effects of Training Language Models to Mimic Student Misconceptions

• arxiv url: http://arxiv.org/abs/2404.15156v1
• Date: Tue, 23 Apr 2024 15:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:22:34.247073
• Title: Regressive Side Effects of Training Language Models to Mimic Student Misconceptions
• Title（参考訳）: マイミック・学生の誤解に対する学習言語モデルの回帰的側面の影響
• Authors: Shashank Sonkar, Naiming Liu, Richard G. Baraniuk,
• Abstract要約: 大規模言語モデルは、学生の誤解をより正確に模倣するように訓練されているため、モデルの事実的完全性と推論能力に妥協がある、という問題を強調する。 これらの副作用に対処するため,本研究では,学生の学習中に各学生の反応の先頭に付加された「幻覚トークン」手法を導入し,学生の誤解を模倣することと,事実的に正確な反応を提供することをモデルに指示した。
• 参考スコア（独自算出の注目度）: 25.90420385230675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel exploration into the regressive side effects of training Large Language Models (LLMs) to mimic student misconceptions for personalized education. We highlight the problem that as LLMs are trained to more accurately mimic student misconceptions, there is a compromise in the factual integrity and reasoning ability of the models. Our work involved training an LLM on a student-tutor dialogue dataset to predict student responses. The results demonstrated a decrease in the model's performance across multiple benchmark datasets, including the ARC reasoning challenge and TruthfulQA, which evaluates the truthfulness of model's generated responses. Furthermore, the HaluEval Dial dataset, used for hallucination detection, and MemoTrap, a memory-based task dataset, also reported a decline in the model accuracy. To combat these side effects, we introduced a "hallucination token" technique. This token, appended at the beginning of each student response during training, instructs the model to switch between mimicking student misconceptions and providing factually accurate responses. Despite the significant improvement across all datasets, the technique does not completely restore the LLM's baseline performance, indicating the need for further research in this area. This paper contributes to the ongoing discussion on the use of LLMs for student modeling, emphasizing the need for a balance between personalized education and factual accuracy.
• Abstract（参考訳）: 本稿では,個人化教育における学生の誤解を模倣する大規模言語モデル(LLM)を訓練する際の回帰的側面について,新たな考察を行う。 LLMは学生の誤解をより正確に模倣するように訓練されているので、モデルの事実的完全性と推論能力に妥協がある、という問題を強調する。 本研究は,学生と教師の対話データセット上でLLMを訓練し,学生の反応を予測することを目的とした。 その結果、ARC推論チャレンジや、モデルが生成した応答の真偽を評価するTrathfulQAなど、複数のベンチマークデータセットでのモデル性能の低下が示された。 さらに、幻覚検出に使用されるHaluEval Dialデータセットと、メモリベースのタスクデータセットであるMemoTrapも、モデル精度の低下を報告している。 これらの副作用に対処するために、私たちは「幻覚トークン」技術を導入しました。 このトークンは、トレーニング中に各学生の反応の先頭に付加され、学生の誤解を模倣することと、事実的に正確な反応を提供することを切り替えるようモデルに指示する。 すべてのデータセットで大幅に改善されているにもかかわらず、この手法はLLMのベースライン性能を完全に回復するものではなく、この分野でさらなる研究の必要性を示している。 本稿では,個人化教育と事実的精度のバランスをとることの必要性を強調し,学生モデリングにおけるLLMの使用に関する議論の継続に寄与する。

関連論文リスト

• Students Rather Than Experts: A New AI For Education Pipeline To Model More Human-Like And Personalised Early Adolescences [11.576679362717478]
  本研究は,仮想学生エージェントをモデル化するための文脈としての言語学習に焦点を当てた。 教師と生徒の個人的交流のデータセットを様々な性格特性でキュレートすることにより,多次元的評価実験を行う。
  論文  参考訳（メタデータ） (2024-10-21T07:18:24Z)
• LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
  本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。 真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。 我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
  論文  参考訳（メタデータ） (2024-10-16T06:51:09Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Enhancing Student Performance Prediction on Learnersourced Questions with SGNN-LLM Synergy [11.735587384038753]
  本稿では,SGNN(Signed Graph Neural Networks)とLLM(Large Language Model)を統合化するための革新的な戦略を提案する。 提案手法では, 学生の回答を包括的にモデル化するための署名付き二部グラフを用いて, 雑音耐性を高めるコントラスト学習フレームワークを補完する。
  論文  参考訳（メタデータ） (2023-09-23T23:37:55Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Student-centric Model of Learning Management System Activity and Academic Performance: from Correlation to Causation [2.169383034643496]
  近年,学生の学習行動パターンを理解するために,学習管理システム(LMS)における学習者のデジタルトレースのモデル化に多くの関心が寄せられている。 本稿では,LMS活動データに対する学生中心の分析フレームワークについて検討し,観察データから抽出した相関性だけでなく因果的洞察も提供する。 これらの知見は、大学生支援団体が学生中心で標的とする介入を開始するための証拠となると期待している。
  論文  参考訳（メタデータ） (2022-10-27T14:08:25Z)
• Knowledge Tracing for Complex Problem Solving: Granular Rank-Based Tensor Factorization [6.077274947471846]
  グラニュラーRAnkに基づくTEnsor Factorization (GRATE) を用いた新しい学生知識追跡手法を提案する。 GRATEは、問題における生徒のパフォーマンスを予測し、それらに提示される概念を発見しながら集約できる学生の試みを選択する。 実世界の3つのデータセットに対する実験は、最先端のベースラインに比べてGRATEの性能が向上したことを示している。
  論文  参考訳（メタデータ） (2022-10-06T06:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。