論文の概要: SPOC learner's final grade prediction based on a novel sampling batch
normalization embedded neural network method
- arxiv url: http://arxiv.org/abs/2012.08408v1
- Date: Tue, 15 Dec 2020 16:36:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:20:29.887216
- Title: SPOC learner's final grade prediction based on a novel sampling batch
normalization embedded neural network method
- Title(参考訳): 新しいサンプリングバッチ正規化埋め込みニューラルネットワーク法によるspoc学習者の最終次数予測
- Authors: Zhuonan Liang, Ziheng Liu, Huaze Shi, Yunlong Chen, Yanbin Cai, Yating
Liang, Yafan Feng, Yuqing Yang, Jing Zhang, Peng Fu
- Abstract要約: スモールプライベートオンラインコース(SPOC)の学習者の最終段階は、予測モデルのトレーニングをハンディキャップする一般的に真剣に不均衡です。
そこで本論文では,サンプリングバッチ正規化埋め込みディープニューラルネットワーク(SBNEDNN)法を開発した。
- 参考スコア(独自算出の注目度): 5.853165192421539
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent years have witnessed the rapid growth of Small Private Online Courses
(SPOC) which is able to highly customized and personalized to adapt variable
educational requests, in which machine learning techniques are explored to
summarize and predict the learner's performance, mostly focus on the final
grade. However, the problem is that the final grade of learners on SPOC is
generally seriously imbalance which handicaps the training of prediction model.
To solve this problem, a sampling batch normalization embedded deep neural
network (SBNEDNN) method is developed in this paper. First, a combined
indicator is defined to measure the distribution of the data, then a rule is
established to guide the sampling process. Second, the batch normalization (BN)
modified layers are embedded into full connected neural network to solve the
data imbalanced problem. Experimental results with other three deep learning
methods demonstrates the superiority of the proposed method.
- Abstract(参考訳): 近年では、学習者の成績を要約し予測するために機械学習技術が研究され、主に最終学年に集中する、可変的な教育要求に高度にカスタマイズし、パーソナライズすることができるs small private online courses (spoc)が急速に成長している。
しかし,SPOCにおける学習者の最終段階は,予測モデルの訓練を手作業で行う場合,概して深刻な不均衡である。
そこで本研究では,サンプリングバッチ正規化組み込みディープニューラルネットワーク(SBNEDNN)法を開発した。
まず、データ分布を測定するために結合指標を定義し、その後、サンプリングプロセスを導くためのルールが確立される。
次に、バッチ正規化(bn)修飾層を完全連結ニューラルネットワークに組み込み、データ不均衡問題を解決する。
他の3つのディープラーニング手法による実験結果は,提案手法の優位性を示している。
関連論文リスト
- Robust Learning of Parsimonious Deep Neural Networks [0.0]
本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。
最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。
我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
論文 参考訳(メタデータ) (2022-05-10T03:38:55Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation [18.224344440110862]
提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
論文 参考訳(メタデータ) (2021-11-16T15:55:59Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳(メタデータ) (2021-08-25T17:58:21Z) - Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。
我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
論文 参考訳(メタデータ) (2021-06-14T15:40:51Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳(メタデータ) (2021-03-16T16:26:36Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳(メタデータ) (2021-03-01T20:31:50Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳(メタデータ) (2021-02-05T16:39:42Z) - Attentional Biased Stochastic Gradient for Imbalanced Classification [106.11888272505176]
深層学習におけるデータ不均衡問題に対処するための単純かつ効果的な手法(ABSGD)を提案する。
この方法は、ミニバッチの各グラデーションに個々の重要性の重みを割り当てる注意メカニズムを利用する運動量SGDの単純な修正です。
ベンチマークデータセットを用いた実験により,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。