論文の概要: Margin-Based Regularization and Selective Sampling in Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2009.06011v1
- Date: Sun, 13 Sep 2020 15:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 02:34:07.051125
- Title: Margin-Based Regularization and Selective Sampling in Deep Neural
Networks
- Title(参考訳): ディープニューラルネットワークにおける正則化と選択サンプリング
- Authors: Berry Weinstein, Shai Fine, Yacov Hel-Or
- Abstract要約: 我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。
CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
- 参考スコア(独自算出の注目度): 7.219077740523683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive a new margin-based regularization formulation, termed multi-margin
regularization (MMR), for deep neural networks (DNNs). The MMR is inspired by
principles that were applied in margin analysis of shallow linear classifiers,
e.g., support vector machine (SVM). Unlike SVM, MMR is continuously scaled by
the radius of the bounding sphere (i.e., the maximal norm of the feature vector
in the data), which is constantly changing during training. We empirically
demonstrate that by a simple supplement to the loss function, our method
achieves better results on various classification tasks across domains. Using
the same concept, we also derive a selective sampling scheme and demonstrate
accelerated training of DNNs by selecting samples according to a minimal margin
score (MMS). This score measures the minimal amount of displacement an input
should undergo until its predicted classification is switched. We evaluate our
proposed methods on three image classification tasks and six language text
classification tasks. Specifically, we show improved empirical results on
CIFAR10, CIFAR100 and ImageNet using state-of-the-art convolutional neural
networks (CNNs) and BERT-BASE architecture for the MNLI, QQP, QNLI, MRPC, SST-2
and RTE benchmarks.
- Abstract(参考訳): 我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。
MMRは、浅い線形分類器(例えばサポートベクトルマシン(SVM))のマージン分析に適用された原理に着想を得たものである。
SVM とは異なり、MMR は有界球面の半径(すなわち、データにおける特徴ベクトルの最大ノルム)によって連続的にスケールされ、訓練中に常に変化している。
本研究では,損失関数を簡易に補足することで,各領域にまたがる様々な分類タスクにおいて,よりよい結果が得られることを示す。
同じ概念を用いて、最小マージンスコア(MMS)に基づいてサンプルを選択することにより、選択的なサンプリングスキームを導出し、DNNの高速化訓練を示す。
このスコアは、入力が予測された分類が切り替わるまでの最小の変位量を測定する。
提案手法を3つの画像分類タスクと6つの言語テキスト分類タスクで評価した。
具体的には, mnli, qqp, qnli, mrpc, sst-2, rteベンチマークのための最先端畳み込みニューラルネットワーク (cnns) とbertベースアーキテクチャを用いて, cifar10, cifar100, imagenet における経験結果の改善を示す。
関連論文リスト
- Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Return of the RNN: Residual Recurrent Networks for Invertible Sentence
Embeddings [0.0]
本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。
ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。
RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
論文 参考訳(メタデータ) (2023-03-23T15:59:06Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳(メタデータ) (2022-08-28T17:50:19Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳(メタデータ) (2022-03-21T14:53:57Z) - Supervised Training of Siamese Spiking Neural Networks with Earth's
Mover Distance [4.047840018793636]
本研究は,高可逆性シアムニューラルネットモデルをイベントデータ領域に適応させる。
我々はスパイク・トレインとスパイク・ニューラル・ネットワーク(SNN)の間の地球のモーバー距離を最適化するための教師付きトレーニング・フレームワークを導入する。
論文 参考訳(メタデータ) (2022-02-20T00:27:57Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2021-11-01T21:51:42Z) - BioLCNet: Reward-modulated Locally Connected Spiking Neural Networks [0.6193838300896449]
本稿では,スパイクタイピング依存型可塑性(STDP)と,その報酬変調型(R-STDP)学習規則を用いて訓練したスパイクニューラルネットワーク(SNN)を提案する。
ネットワークは、レートコードされた入力層と、ローカルに接続された隠れ層とデコード出力層から構成される。
我々は,MNISTデータセットを用いて,画像分類精度と報奨システムのロバスト性を評価した。
論文 参考訳(メタデータ) (2021-09-12T15:28:48Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳(メタデータ) (2021-02-05T16:39:42Z) - A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。
提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
論文 参考訳(メタデータ) (2020-06-08T02:39:59Z) - Classification of Hand Gestures from Wearable IMUs using Deep Neural
Network [0.0]
慣性測定ユニット(Inertial Measurement Unit, IMU)は3軸加速度計とジャイロスコープで構成される。
本稿では,ウェアラブルIMUセンサから得られる手の動きを分類するために,Deep Neural Network (DNN) を用いた新しい分類手法を提案する。
論文 参考訳(メタデータ) (2020-04-27T01:08:33Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。