論文の概要: Imputing Knowledge Tracing Data with Subject-Based Training via LSTM
Variational Autoencoders Frameworks
- arxiv url: http://arxiv.org/abs/2302.12910v1
- Date: Fri, 24 Feb 2023 21:56:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 20:03:10.204791
- Title: Imputing Knowledge Tracing Data with Subject-Based Training via LSTM
Variational Autoencoders Frameworks
- Title（参考訳）: lstm変分オートエンコーダフレームワークによる知識トレースデータと主題ベーストレーニング
- Authors: Jia Tracy Shen, Dongwon Lee
- Abstract要約: 我々は,行数分割の代わりに,学生IDによるデータ分割とインプットを行うために,主観的学習手法を採用した。
我々は既存の2つの深い生成フレームワーク、すなわち変分オートエンコーダ(VAE)と変分オートエンコーダ(LVAE)を活用している。
LSTM-VAE と LSTM-LVAE から生成したデータにより,元のモデルの性能を約50%向上できることを示す。
- 参考スコア（独自算出の注目度）: 6.24828623162058
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The issue of missing data poses a great challenge on boosting performance and
application of deep learning models in the {\em Knowledge Tracing} (KT)
problem. However, there has been the lack of understanding on the issue in the
literature. %are not sufficient studies tackling this problem. In this work, to
address this challenge, we adopt a subject-based training method to split and
impute data by student IDs instead of row number splitting which we call
non-subject based training. The benefit of subject-based training can retain
the complete sequence for each student and hence achieve efficient training.
Further, we leverage two existing deep generative frameworks, namely
variational Autoencoders (VAE) and Longitudinal Variational Autoencoders (LVAE)
frameworks and build LSTM kernels into them to form LSTM-VAE and LSTM LVAE
(noted as VAE and LVAE for simplicity) models to generate quality data. In
LVAE, a Gaussian Process (GP) model is trained to disentangle the correlation
between the subject (i.e., student) descriptor information (e.g., age, gender)
and the latent space. The paper finally compare the model performance between
training the original data and training the data imputed with generated data
from non-subject based model VAE-NS and subject-based training models (i.e.,
VAE and LVAE). We demonstrate that the generated data from LSTM-VAE and
LSTM-LVAE can boost the original model performance by about 50%. Moreover, the
original model just needs 10% more student data to surpass the original
performance if the prediction model is small and 50\% more data if the
prediction model is large with our proposed frameworks.
- Abstract（参考訳）: データ不足の問題は、KT( {\displaystyle {\em Knowledge Tracing})問題におけるディープラーニングモデルのパフォーマンス向上と応用に大きな課題をもたらします。
しかし、文献にその問題についての理解の欠如が指摘されている。
%は,この問題に対処する十分な研究ではない。
本研究では,この課題に対処するために,非対象ベーストレーニングと呼ぶ行数分割ではなく,学生IDによるデータ分割とインプットを行う対象ベーストレーニング手法を採用する。
課題ベーストレーニングの利点は、各学生の完全なシーケンスを保持し、効率的なトレーニングを実現することができる。
さらに,変分オートエンコーダ (VAE) と長周期変分オートエンコーダ (LVAE) という2つの既存の深部生成フレームワークを活用し,LSTMカーネルを構築してLSTM-VAEとLSTM LVAE(VAEとLVAEと表記される)モデルを構築し,品質データを生成する。
LVAEでは、ガウス過程(GP)モデルを訓練し、対象(例えば、学生)記述子情報(例えば、年齢、性別)と潜在空間との相関関係を解き放つ。
本論文は,本論文で得られたデータと非主観的モデルvae-nsおよび主観的トレーニングモデル(vaeおよびlvae)から生成されたデータとのモデル性能の比較を行った。
LSTM-VAE と LSTM-LVAE から生成したデータにより,元のモデルの性能を約50%向上できることを示す。
さらに、予測モデルが小さい場合、予測モデルが提案するフレームワークで大きい場合、予測モデルが小さい場合、元の性能を超えるためには10%以上の学生データが必要である。
関連論文リスト
- Rethinking Data Synthesis: A Teacher Model Training Recipe with Interpretation [8.013158752919722]
大規模言語モデル(LLM)訓練の最近の進歩は、多種多様な高品質な命令データの必要性を強調している。
データ生成のためのモデルを具体的に訓練する方法を検討することにより、 textbfNOMAD というパラダイムシフトを提案する。
論文 参考訳（メタデータ） (2024-10-27T07:38:39Z) - Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳（メタデータ） (2024-06-16T17:09:24Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Comparison of Transfer Learning based Additive Manufacturing Models via
A Case Study [3.759936323189418]
本稿では,金属AM製品に関するオープンソースデータセットに基づくケーススタディについて述べる。
5つのTL手法が決定木回帰(DTR)と人工知能ニューラルネットワーク(ANN)と統合され、6つのTLベースモデルが構築される。
これらの比較は応用TL法の性能を定量化するために用いられ、類似性、トレーニングデータサイズ、データ前処理の観点から議論される。
論文 参考訳（メタデータ） (2023-05-17T00:29:25Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - Reconstructing Training Data from Diverse ML Models by Ensemble
Inversion [8.414622657659168]
モデルインバージョン(MI)は、学習された機械学習(ML)モデルへのアクセスを敵が悪用するものであり、研究の注目を集めている。
本研究では,訓練されたモデルのアンサンブルに制約されたジェネレータを訓練することにより,元のトレーニングデータの分布を推定するアンサンブル変換手法を提案する。
データセットを使わずに高品質な結果が得られ、想定されるトレーニングデータに類似した補助データセットを利用することで、結果がどう改善されるかを示す。
論文 参考訳（メタデータ） (2021-11-05T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。