論文の概要: No Length Left Behind: Enhancing Knowledge Tracing for Modeling
Sequences of Excessive or Insufficient Lengths
- arxiv url: http://arxiv.org/abs/2308.03488v1
- Date: Mon, 7 Aug 2023 11:30:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 14:02:28.159042
- Title: No Length Left Behind: Enhancing Knowledge Tracing for Modeling
Sequences of Excessive or Insufficient Lengths
- Title(参考訳): 長さを伴わない:過剰または不十分な長さの列をモデル化するための知識追跡の強化
- Authors: Moyu Zhang, Xinning Zhu, Chunhong Zhang, Feng Pan, Wenchen Qian, Hui
Zhao
- Abstract要約: 知識追跡は,過去の質問応答行動に基づいて,学生の実践に対する反応を予測することを目的としている。
シーケンスが長くなると、計算コストは指数関数的に増加する。
シーケンス・フレキシブル・ナレッジ・トラクション(SFKT)と呼ばれるモデルを提案する。
- 参考スコア(独自算出の注目度): 3.2687390531088414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge tracing (KT) aims to predict students' responses to practices based
on their historical question-answering behaviors. However, most current KT
methods focus on improving overall AUC, leaving ample room for optimization in
modeling sequences of excessive or insufficient lengths. As sequences get
longer, computational costs will increase exponentially. Therefore, KT methods
usually truncate sequences to an acceptable length, which makes it difficult
for models on online service systems to capture complete historical practice
behaviors of students with too long sequences. Conversely, modeling students
with short practice sequences using most KT methods may result in overfitting
due to limited observation samples. To address the above limitations, we
propose a model called Sequence-Flexible Knowledge Tracing (SFKT).
- Abstract(参考訳): 知識追跡(KT)は,過去の質問応答行動に基づいて,学生の実践に対する反応を予測することを目的としている。
しかし、現在のKT手法のほとんどはAUC全体の改善に重点を置いており、過剰または不十分な長さのシーケンスをモデル化するのに十分な最適化の余地を残している。
シーケンスが長くなると、計算コストは指数関数的に増加する。
したがって、KT法は通常、シーケンスを許容範囲に切り離すため、オンラインサービスシステムのモデルでは、長いシークエンスを持つ学生の完全な過去の実践行動を捉えることが困難になる。
逆に、ほとんどのKT手法を用いて短い練習シーケンスの学生をモデル化することは、限られた観察サンプルのために過度に適合する可能性がある。
上記の制約に対処するため,Sequence-Flexible Knowledge Tracing (SFKT) と呼ばれるモデルを提案する。
関連論文リスト
- Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - HiPool: Modeling Long Documents Using Graph Neural Networks [24.91040673099863]
自然言語処理(NLP)の長いシーケンスは難しい問題である。
最近の事前学習言語モデルは、多くのNLPタスクにおいて満足な性能を達成する。
我々は,最大53kのサンプルと平均トークンの長さ4034のデータセットを合計6つ集めて,新たな挑戦的ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-05-05T06:58:24Z) - Challenging Common Assumptions about Catastrophic Forgetting [13.1202659074346]
本研究では,データ再帰を伴うタスクの長いシーケンスにおいて,勾配に基づくアルゴリズムを用いて訓練されたDNNにおける進歩的知識蓄積(KA)について検討する。
そこで我々は,SCoLeという新しいフレームワークを提案し,SGDで訓練したDNNに対して破滅的忘れ込みが限定的であることを示す。
論文 参考訳(メタデータ) (2022-07-10T21:40:54Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - FiLM: Frequency improved Legendre Memory Model for Long-term Time Series
Forecasting [22.821606402558707]
textbfFrequency textbfimproved textbfLegendre textbfMemory model(bf FiLM)を開発した。
実験により,提案したFiLMは最先端モデルの精度を著しく向上することが示された。
論文 参考訳(メタデータ) (2022-05-18T12:37:54Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳(メタデータ) (2022-02-08T16:39:57Z) - Simple Local Attentions Remain Competitive for Long-Context Tasks [32.785459927278616]
多くのNLPタスクは、事前訓練されたモデルの長さ制限を超える長いコンテキストを処理する必要がある。
これらのモデルをより長いテキストシーケンスにスケールするために、多くの効率的な長距離アテンション変種が提案されている。
各注意変種について、同一の長docコーパスを用いて大規模モデルを事前訓練し、それらのモデルを現実世界の長コンテキストタスクのために微調整する。
論文 参考訳(メタデータ) (2021-12-14T07:37:58Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。