論文の概要: MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values

• arxiv url: http://arxiv.org/abs/2007.13723v1
• Date: Mon, 27 Jul 2020 17:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 07:54:06.923293
• Title: MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values
• Title（参考訳）: MaxDropout: 最大出力値に基づくディープニューラルネットワークの正規化
• Authors: Claudio Filipi Goncalves do Santos, Danilo Colombo, Mateus Roder, Jo\~ao Paulo Papa
• Abstract要約: MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different techniques have emerged in the deep learning scenario, such as Convolutional Neural Networks, Deep Belief Networks, and Long Short-Term Memory Networks, to cite a few. In lockstep, regularization methods, which aim to prevent overfitting by penalizing the weight connections, or turning off some units, have been widely studied either. In this paper, we present a novel approach called MaxDropout, a regularizer for deep neural network models that works in a supervised fashion by removing (shutting off) the prominent neurons (i.e., most active) in each hidden layer. The model forces fewer activated units to learn more representative information, thus providing sparsity. Regarding the experiments, we show that it is possible to improve existing neural networks and provide better results in neural networks when Dropout is replaced by MaxDropout. The proposed method was evaluated in image classification, achieving comparable results to existing regularizers, such as Cutout and RandomErasing, also improving the accuracy of neural networks that uses Dropout by replacing the existing layer by MaxDropout.
• Abstract（参考訳）: Convolutional Neural Networks、Deep Belief Networks、Long Short-Term Memory Networksなど、ディープラーニングのシナリオにさまざまなテクニックが登場した。 ロックステップでは、重み接続をペナルティ化したり、いくつかのユニットをオフにすることで過剰フィッティングを防止するための正規化法も広く研究されている。 本稿では,隠れた各層において顕著なニューロン(すなわち最も活発なニューロン)を除去(シャットオフ)することで,教師付きで機能するディープニューラルネットワークモデルのレギュレータであるMaxDropoutを提案する。 このモデルでは、活性化されたユニットを減らして、より多くの代表情報を学習する。 実験では,DropoutをMaxDropoutに置き換えた場合,既存のニューラルネットワークを改良し,ニューラルネットワークでより良い結果が得られることを示す。 提案手法は画像分類において評価され,CutoutやRandomErasingなどの既存の正規化器に匹敵する結果が得られるとともに,既存の層をMaxDropoutに置き換えることでDropoutを用いたニューラルネットワークの精度を向上させる。

関連論文リスト

• Survey on Leveraging Uncertainty Estimation Towards Trustworthy Deep Neural Networks: The Case of Reject Option and Post-training Processing [11.1569804870748]
  本稿では,様々なニューラルネットワークの文脈におけるリジェクションオプションによる予測の体系的レビューを行う。 実時間問題に対する予測時間を短縮する際の拒絶オプションの適用について検討する。
  論文  参考訳（メタデータ） (2023-04-11T00:35:10Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Multi-Grade Deep Learning [3.0069322256338906]
  現在のディープラーニングモデルは、シングルグレードのニューラルネットワークである。 本稿では,より効率的かつ効率的に深層ニューラルネットワークを学習できるマルチグレード学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T00:09:56Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Searching for Minimal Optimal Neural Networks [4.94950858749529]
  大きなニューラルネットワークモデルは高い予測力を持つが、トレーニングセットが十分に大きくない場合、過度に適合する可能性がある。 破壊的なアプローチは、大規模なアーキテクチャから始まり、ラッソ型ペナルティを使用してサイズを小さくする。 適応群Lassoが一貫したものであり、高い確率で1つの隠れ層フィードフォワードネットワークの隠れノードの正しい数を再構築できることを証明した。
  論文  参考訳（メタデータ） (2021-09-27T14:08:07Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。