論文の概要: RouterKT: Mixture-of-Experts for Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2504.08989v1
• Date: Fri, 11 Apr 2025 21:42:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:56:05.096856
• Title: RouterKT: Mixture-of-Experts for Knowledge Tracing
• Title（参考訳）: RouterKT:知識追跡のためのMixture-of-Experts
• Authors: Han Liao, Shuaishuai Zu,
• Abstract要約: 異種学習パターンを抽出するための新しいMixture-of-Experts (MoE)アーキテクチャであるRouterKTを提案する。 特に、RogerKTでは、個人固有の学習行動を効果的にモデル化する、テキストバッファワイズルーティング機構を導入している。 10のベンチマークデータセットの実験では、RuterKTは大きな柔軟性を示し、さまざまなKTバックボーンモデルのパフォーマンスを改善している。
• 参考スコア（独自算出の注目度）: 1.983472984641239
• License:
• Abstract: Knowledge Tracing (KT) is a fundamental task in Intelligent Tutoring Systems (ITS), which aims to model the dynamic knowledge states of students based on their interaction histories. However, existing KT models often rely on a global forgetting decay mechanism for capturing learning patterns, assuming that students' performance is predominantly influenced by their most recent interactions. Such approaches fail to account for the diverse and complex learning patterns arising from individual differences and varying learning stages. To address this limitation, we propose RouterKT, a novel Mixture-of-Experts (MoE) architecture designed to capture heterogeneous learning patterns by enabling experts to specialize in different patterns without any handcrafted learning pattern bias such as forgetting decay. Specifically, RouterKT introduces a \textbf{person-wise routing mechanism} to effectively model individual-specific learning behaviors and employs \textbf{multi-heads as experts} to enhance the modeling of complex and diverse patterns. Comprehensive experiments on ten benchmark datasets demonstrate that RouterKT exhibits significant flexibility and improves the performance of various KT backbone models, with a maximum average AUC improvement of 3.29\% across different backbones and datasets, outperforming other state-of-the-art models. Moreover, RouterKT demonstrates consistently superior inference efficiency compared to existing approaches based on handcrafted learning pattern bias, highlighting its usability for real-world educational applications. The source code is available at https://github.com/derek-liao/RouterKT.git.
• Abstract（参考訳）: KT(Knowledge Tracing)は、知的学習システム(ITS)の基本課題であり、インタラクション履歴に基づいて学生の動的知識状態をモデル化することを目的としている。 しかし、既存のKTモデルは、生徒のパフォーマンスが直近の相互作用に大きく影響されることを前提として、学習パターンを捉えるためのグローバルな忘れる減衰機構に依存していることが多い。 このようなアプローチは、個々の違いとさまざまな学習段階から生じる多様で複雑な学習パターンを説明できない。 この制限に対処するために、専門家が、崩壊を忘れるなどの手作り学習パターンバイアスを伴わずに、異なるパターンを専門化できるようにすることにより、異種学習パターンを捕捉する新しいMixture-of-Experts (MoE)アーキテクチャーであるRouterKTを提案する。 具体的には、RuterKTでは、個々の学習行動を効果的にモデル化する‘textbf{person-wise routing mechanism’を導入し、複雑で多様なパターンのモデリングを強化するために‘textbf{multi-heads]を専門家として採用している。 10のベンチマークデータセットに関する総合的な実験によると、RuterKTは様々なKTバックボーンモデルの性能を向上し、さまざまなバックボーンとデータセットで平均3.29倍のAUC改善を実現し、他の最先端モデルよりも優れている。 さらに、RuterKTは、手作り学習パターンバイアスに基づく既存のアプローチと比較して、推論効率が一貫して優れており、現実の教育アプリケーションにおけるそのユーザビリティを強調している。 ソースコードはhttps://github.com/derek-liao/RouterKT.gitで公開されている。

関連論文リスト

• Shortcut Learning Susceptibility in Vision Classifiers [3.004632712148892]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 この現象は、視覚、自然言語処理、音声認識など、さまざまな機械学習アプリケーションで広く利用されている。 クラスラベルと位置相関するデータセットに意図的にショートカットを導入することで,これらのアーキテクチャを体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models [26.294808618068146]
  知識追跡は,学生の今後の業績を予測する上で重要な役割を担っている。 ディープニューラルネットワーク(DNN)は、KT問題を解決する大きな可能性を示している。 しかし、KTプロセスのモデル化にディープラーニング技術を適用する際には、いくつかの重要な課題がある。
  論文  参考訳（メタデータ） (2024-03-12T05:15:42Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)
• LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences [21.67751919579854]
  今後の質問に対する学生の回答を予測するために、Leveled Attentive KNowledge TrAcing(LANA)を提案します。 新しい学生関連特徴抽出装置(SRFE)を使用して、学生固有の特性をそれぞれのインタラクティブシーケンスから蒸留します。 ピボットモジュールは、個々の学生のためのデコーダを再構築し、グループのためのレベル付き学習特化エンコーダにより、パーソナライズされたDKTを実現した。
  論文  参考訳（メタデータ） (2021-04-21T02:57:42Z)
• Context-Aware Attentive Knowledge Tracing [21.397976659857793]
  本稿では、フレキシブルアテンションに基づくニューラルネットワークモデルと、新しい解釈可能なモデルコンポーネントを結合した注意知識追跡手法を提案する。 AKTは、学習者の将来の応答と過去の応答に対する評価質問を関連付ける新しいモノトニックアテンションメカニズムを使用する。 AKT は,既存の KT 手法(場合によっては AUC で最大6% 以上)よりも,将来の学習者応答の予測に優れることを示す。
  論文  参考訳（メタデータ） (2020-07-24T02:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。