論文の概要: Applying Recent Innovations from NLP to MOOC Student Course Trajectory
Modeling
- arxiv url: http://arxiv.org/abs/2001.08333v2
- Date: Mon, 4 May 2020 19:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 12:48:01.427193
- Title: Applying Recent Innovations from NLP to MOOC Student Course Trajectory
Modeling
- Title(参考訳): NLPからMOOC学生コース軌道モデリングへの最近のイノベーションの適用
- Authors: Clarence Chen, Zachary Pardos
- Abstract要約: 本稿では,MOOC学生コース軌跡モデリングのためのニューラルネットワークに基づく予測手法を改善するためのいくつかの戦略を提案する。
本稿では,最近導入されたTransformerアーキテクチャとともに,2種類の正規化により拡張されたLSTMネットワークについて検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents several strategies that can improve neural network-based
predictive methods for MOOC student course trajectory modeling, applying
multiple ideas previously applied to tackle NLP (Natural Language Processing)
tasks. In particular, this paper investigates LSTM networks enhanced with two
forms of regularization, along with the more recently introduced Transformer
architecture.
- Abstract(参考訳): 本稿では,MOOC学生軌道モデルにおけるニューラルネットワークに基づく予測手法を改良し,NLP(Natural Language Processing)タスクにこれまで適用されていた複数のアイデアを適用した。
本稿では,最近導入されたTransformerアーキテクチャとともに,2種類の正規化により拡張されたLSTMネットワークについて検討する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - A Survey on Neural Topic Models: Methods, Applications, and Challenges [36.53898080138926]
トピックモデルは何十年にもわたって普及し、潜在トピックを発見し、教師なしの方法で文書のトピックの割合を推測している。
ニューラル・トピック・モデル(NTM) - ニューラル・トピック・モデル(NTM)
NTMはモデル固有の導出を必要としないパラメータを直接最適化する。
論文 参考訳(メタデータ) (2024-01-27T08:52:19Z) - A Survey on Statistical Theory of Deep Learning: Approximation, Training
Dynamics, and Generative Models [15.692437265063342]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳(メタデータ) (2024-01-14T02:30:19Z) - Alternate Training of Shared and Task-Specific Parameters for Multi-Task
Neural Networks [49.1574468325115]
本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。
提案した代替トレーニング手法は、モデルのマルチヘッドアーキテクチャを利用して、共有およびタスク固有の重みを交互に更新する。
実証実験では、遅延オーバーフィッティング、予測の改善、計算要求の削減が示されている。
論文 参考訳(メタデータ) (2023-12-26T21:33:03Z) - Pupil Learning Mechanism [0.0]
2層ニューラルネットワーク(2LNN)のネットワーク構造と重みを修飾する瞳孔学習機構(PLM)を導出する。
PLMは、逐次学習、適応学習、完全学習、過度に適合しない学習のためのモジュールで構成されている。
実験により, PLMモジュールの設計が線形回帰モデルと従来のバックプロパゲーションベース2LNNモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-30T06:38:44Z) - NN2Poly: A polynomial representation for deep feed-forward artificial
neural networks [0.6502001911298337]
NN2Polyは、すでに訓練済みの完全接続フィードフォワード人工ニューラルネットワークの明示的なモデルを得るための理論的アプローチである。
このアプローチは、単一の隠蔽層ネットワークに限定された文献で提案された以前の考え方を拡張している。
論文 参考訳(メタデータ) (2021-12-21T17:55:22Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Model-Based Machine Learning for Communications [110.47840878388453]
モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。
通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
論文 参考訳(メタデータ) (2021-01-12T19:55:34Z) - MPLP: Learning a Message Passing Learning Protocol [63.948465205530916]
人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。
ANNで発生したすべての操作を独立したエージェントとして抽象化する。
各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
論文 参考訳(メタデータ) (2020-07-02T09:03:14Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。