論文の概要: No Length Left Behind: Enhancing Knowledge Tracing for Modeling Sequences of Excessive or Insufficient Lengths

• arxiv url: http://arxiv.org/abs/2308.03488v1
• Date: Mon, 7 Aug 2023 11:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 14:02:28.159042
• Title: No Length Left Behind: Enhancing Knowledge Tracing for Modeling Sequences of Excessive or Insufficient Lengths
• Title（参考訳）: 長さを伴わない:過剰または不十分な長さの列をモデル化するための知識追跡の強化
• Authors: Moyu Zhang, Xinning Zhu, Chunhong Zhang, Feng Pan, Wenchen Qian, Hui Zhao
• Abstract要約: 知識追跡は,過去の質問応答行動に基づいて,学生の実践に対する反応を予測することを目的としている。 シーケンスが長くなると、計算コストは指数関数的に増加する。 シーケンス・フレキシブル・ナレッジ・トラクション(SFKT)と呼ばれるモデルを提案する。
• 参考スコア（独自算出の注目度）: 3.2687390531088414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge tracing (KT) aims to predict students' responses to practices based on their historical question-answering behaviors. However, most current KT methods focus on improving overall AUC, leaving ample room for optimization in modeling sequences of excessive or insufficient lengths. As sequences get longer, computational costs will increase exponentially. Therefore, KT methods usually truncate sequences to an acceptable length, which makes it difficult for models on online service systems to capture complete historical practice behaviors of students with too long sequences. Conversely, modeling students with short practice sequences using most KT methods may result in overfitting due to limited observation samples. To address the above limitations, we propose a model called Sequence-Flexible Knowledge Tracing (SFKT).
• Abstract（参考訳）: 知識追跡(KT)は,過去の質問応答行動に基づいて,学生の実践に対する反応を予測することを目的としている。 しかし、現在のKT手法のほとんどはAUC全体の改善に重点を置いており、過剰または不十分な長さのシーケンスをモデル化するのに十分な最適化の余地を残している。 シーケンスが長くなると、計算コストは指数関数的に増加する。 したがって、KT法は通常、シーケンスを許容範囲に切り離すため、オンラインサービスシステムのモデルでは、長いシークエンスを持つ学生の完全な過去の実践行動を捉えることが困難になる。 逆に、ほとんどのKT手法を用いて短い練習シーケンスの学生をモデル化することは、限られた観察サンプルのために過度に適合する可能性がある。 上記の制約に対処するため,Sequence-Flexible Knowledge Tracing (SFKT) と呼ばれるモデルを提案する。

関連論文リスト

• SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models [16.060402139507644]
  SWITCH (Studying WIth TeaCHer for Knowledge Distillation) は、学生のシーケンス生成中に教師モデルを戦略的に組み込む新しいアプローチである。 本稿では,SWITCHが従来の知識蒸留法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T12:10:49Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Long Range Propagation on Continuous-Time Dynamic Graphs [18.5534584418248]
  Continuous-Time Graph Anti-Symmetric Network (CTAN) は情報伝達の効率化を目的としている。 合成長範囲ベンチマークと実世界のベンチマークにおけるCTANの実証的性能は他の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-04T19:42:19Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• HiPool: Modeling Long Documents Using Graph Neural Networks [24.91040673099863]
  自然言語処理(NLP)の長いシーケンスは難しい問題である。 最近の事前学習言語モデルは、多くのNLPタスクにおいて満足な性能を達成する。 我々は,最大53kのサンプルと平均トークンの長さ4034のデータセットを合計6つ集めて,新たな挑戦的ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-05-05T06:58:24Z)
• FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting [22.821606402558707]
  textbfFrequency textbfimproved textbfLegendre textbfMemory model(bf FiLM)を開発した。 実験により,提案したFiLMは最先端モデルの精度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-05-18T12:37:54Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。