論文の概要: Margin-Based Regularization and Selective Sampling in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2009.06011v1
• Date: Sun, 13 Sep 2020 15:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:34:07.051125
• Title: Margin-Based Regularization and Selective Sampling in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける正則化と選択サンプリング
• Authors: Berry Weinstein, Shai Fine, Yacov Hel-Or
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
• 参考スコア（独自算出の注目度）: 7.219077740523683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We derive a new margin-based regularization formulation, termed multi-margin regularization (MMR), for deep neural networks (DNNs). The MMR is inspired by principles that were applied in margin analysis of shallow linear classifiers, e.g., support vector machine (SVM). Unlike SVM, MMR is continuously scaled by the radius of the bounding sphere (i.e., the maximal norm of the feature vector in the data), which is constantly changing during training. We empirically demonstrate that by a simple supplement to the loss function, our method achieves better results on various classification tasks across domains. Using the same concept, we also derive a selective sampling scheme and demonstrate accelerated training of DNNs by selecting samples according to a minimal margin score (MMS). This score measures the minimal amount of displacement an input should undergo until its predicted classification is switched. We evaluate our proposed methods on three image classification tasks and six language text classification tasks. Specifically, we show improved empirical results on CIFAR10, CIFAR100 and ImageNet using state-of-the-art convolutional neural networks (CNNs) and BERT-BASE architecture for the MNLI, QQP, QNLI, MRPC, SST-2 and RTE benchmarks.
• Abstract（参考訳）: 我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 MMRは、浅い線形分類器(例えばサポートベクトルマシン(SVM))のマージン分析に適用された原理に着想を得たものである。 SVM とは異なり、MMR は有界球面の半径(すなわち、データにおける特徴ベクトルの最大ノルム)によって連続的にスケールされ、訓練中に常に変化している。 本研究では,損失関数を簡易に補足することで,各領域にまたがる様々な分類タスクにおいて,よりよい結果が得られることを示す。 同じ概念を用いて、最小マージンスコア(MMS)に基づいてサンプルを選択することにより、選択的なサンプリングスキームを導出し、DNNの高速化訓練を示す。 このスコアは、入力が予測された分類が切り替わるまでの最小の変位量を測定する。 提案手法を3つの画像分類タスクと6つの言語テキスト分類タスクで評価した。 具体的には, mnli, qqp, qnli, mrpc, sst-2, rteベンチマークのための最先端畳み込みニューラルネットワーク (cnns) とbertベースアーキテクチャを用いて, cifar10, cifar100, imagenet における経験結果の改善を示す。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Time Elastic Neural Networks [2.1756081703276]
  時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。 古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。 トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
  論文  参考訳（メタデータ） (2024-05-27T09:01:30Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Supervised Training of Siamese Spiking Neural Networks with Earth's Mover Distance [4.047840018793636]
  本研究は,高可逆性シアムニューラルネットモデルをイベントデータ領域に適応させる。 我々はスパイク・トレインとスパイク・ニューラル・ネットワーク(SNN)の間の地球のモーバー距離を最適化するための教師付きトレーニング・フレームワークを導入する。
  論文  参考訳（メタデータ） (2022-02-20T00:27:57Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Classification of Hand Gestures from Wearable IMUs using Deep Neural Network [0.0]
  慣性測定ユニット(Inertial Measurement Unit, IMU)は3軸加速度計とジャイロスコープで構成される。 本稿では,ウェアラブルIMUセンサから得られる手の動きを分類するために,Deep Neural Network (DNN) を用いた新しい分類手法を提案する。
  論文  参考訳（メタデータ） (2020-04-27T01:08:33Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。