論文の概要: Regressive Side Effects of Training Language Models to Mimic Student Misconceptions
- arxiv url: http://arxiv.org/abs/2404.15156v1
- Date: Tue, 23 Apr 2024 15:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:22:34.247073
- Title: Regressive Side Effects of Training Language Models to Mimic Student Misconceptions
- Title(参考訳): マイミック・学生の誤解に対する学習言語モデルの回帰的側面の影響
- Authors: Shashank Sonkar, Naiming Liu, Richard G. Baraniuk,
- Abstract要約: 大規模言語モデルは、学生の誤解をより正確に模倣するように訓練されているため、モデルの事実的完全性と推論能力に妥協がある、という問題を強調する。
これらの副作用に対処するため,本研究では,学生の学習中に各学生の反応の先頭に付加された「幻覚トークン」手法を導入し,学生の誤解を模倣することと,事実的に正確な反応を提供することをモデルに指示した。
- 参考スコア(独自算出の注目度): 25.90420385230675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel exploration into the regressive side effects of training Large Language Models (LLMs) to mimic student misconceptions for personalized education. We highlight the problem that as LLMs are trained to more accurately mimic student misconceptions, there is a compromise in the factual integrity and reasoning ability of the models. Our work involved training an LLM on a student-tutor dialogue dataset to predict student responses. The results demonstrated a decrease in the model's performance across multiple benchmark datasets, including the ARC reasoning challenge and TruthfulQA, which evaluates the truthfulness of model's generated responses. Furthermore, the HaluEval Dial dataset, used for hallucination detection, and MemoTrap, a memory-based task dataset, also reported a decline in the model accuracy. To combat these side effects, we introduced a "hallucination token" technique. This token, appended at the beginning of each student response during training, instructs the model to switch between mimicking student misconceptions and providing factually accurate responses. Despite the significant improvement across all datasets, the technique does not completely restore the LLM's baseline performance, indicating the need for further research in this area. This paper contributes to the ongoing discussion on the use of LLMs for student modeling, emphasizing the need for a balance between personalized education and factual accuracy.
- Abstract(参考訳): 本稿では,個人化教育における学生の誤解を模倣する大規模言語モデル(LLM)を訓練する際の回帰的側面について,新たな考察を行う。
LLMは学生の誤解をより正確に模倣するように訓練されているので、モデルの事実的完全性と推論能力に妥協がある、という問題を強調する。
本研究は,学生と教師の対話データセット上でLLMを訓練し,学生の反応を予測することを目的とした。
その結果、ARC推論チャレンジや、モデルが生成した応答の真偽を評価するTrathfulQAなど、複数のベンチマークデータセットでのモデル性能の低下が示された。
さらに、幻覚検出に使用されるHaluEval Dialデータセットと、メモリベースのタスクデータセットであるMemoTrapも、モデル精度の低下を報告している。
これらの副作用に対処するために、私たちは「幻覚トークン」技術を導入しました。
このトークンは、トレーニング中に各学生の反応の先頭に付加され、学生の誤解を模倣することと、事実的に正確な反応を提供することを切り替えるようモデルに指示する。
すべてのデータセットで大幅に改善されているにもかかわらず、この手法はLLMのベースライン性能を完全に回復するものではなく、この分野でさらなる研究の必要性を示している。
本稿では,個人化教育と事実的精度のバランスをとることの必要性を強調し,学生モデリングにおけるLLMの使用に関する議論の継続に寄与する。
関連論文リスト
- I Learn Better If You Speak My Language: Enhancing Large Language Model
Fine-Tuning with Style-Aligned Response Adjustments [25.910151136027064]
本研究では,微調整過程における接地構造応答のスタイルの影響について検討した。
提案手法は,モデルの既存応答を最小限に修正して誤りを訂正する手法である。
この技術は、モデルのネイティブレスポンススタイルに合わせて正確な修正を可能にし、モデルのコア能力を保護し、過剰な適合を避ける。
論文 参考訳(メタデータ) (2024-02-17T05:05:31Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - Teaching Language Models to Self-Improve through Interactive Demonstrations [83.9421355808174]
大規模言語モデルの自己改善能力は欠如しており、より小さなモデルで学ぶことは困難である。
このような自己改善能力を持つ小型モデルのトレーニングアルゴリズムであるTriPosTを導入する。
我々は,LLaMA-7bの算数および推論タスクの性能を最大7.13%向上させることができることを示す。
論文 参考訳(メタデータ) (2023-10-20T14:11:04Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Uncovering the Hidden Cost of Model Compression [43.62624133952414]
視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。
モデル圧縮は視覚的プロンプトベース転送の性能に有害である。
しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - Imputing Knowledge Tracing Data with Subject-Based Training via LSTM
Variational Autoencoders Frameworks [6.24828623162058]
我々は,行数分割の代わりに,学生IDによるデータ分割とインプットを行うために,主観的学習手法を採用した。
我々は既存の2つの深い生成フレームワーク、すなわち変分オートエンコーダ(VAE)と変分オートエンコーダ(LVAE)を活用している。
LSTM-VAE と LSTM-LVAE から生成したデータにより,元のモデルの性能を約50%向上できることを示す。
論文 参考訳(メタデータ) (2023-02-24T21:56:03Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。