論文の概要: Quantal synaptic dilution enhances sparse encoding and dropout regularisation in deep networks

• arxiv url: http://arxiv.org/abs/2009.13165v1
• Date: Mon, 28 Sep 2020 09:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 20:39:18.100813
• Title: Quantal synaptic dilution enhances sparse encoding and dropout regularisation in deep networks
• Title（参考訳）: 量子シナプス希釈はディープネットワークにおけるスパースエンコーディングとドロップアウト正規化を促進する
• Authors: Gardave S Bhumbra
• Abstract要約: ドロップアウト(Dropout)は、ディープネットワークをトレーニングしながら、オーバーフィッティングを減らすためにユニットのアクティビティを沈黙させるテクニックである。 本稿では,神経シナプスの量子的性質に基づく生物学的に妥当なドロップアウト規則化モデルであるQuantal Synaptic Dilution(QSD)を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout is a technique that silences the activity of units stochastically while training deep networks to reduce overfitting. Here we introduce Quantal Synaptic Dilution (QSD), a biologically plausible model of dropout regularisation based on the quantal properties of neuronal synapses, that incorporates heterogeneities in response magnitudes and release probabilities for vesicular quanta. QSD outperforms standard dropout in ReLU multilayer perceptrons, with enhanced sparse encoding at test time when dropout masks are replaced with identity functions, without shifts in trainable weight or bias distributions. For convolutional networks, the method also improves generalisation in computer vision tasks with and without inclusion of additional forms of regularisation. QSD also outperforms standard dropout in recurrent networks for language modelling and sentiment analysis. An advantage of QSD over many variations of dropout is that it can be implemented generally in all conventional deep networks where standard dropout is applicable.
• Abstract（参考訳）: ドロップアウト(Dropout)とは、深層ネットワークをトレーニングしてオーバーフィッティングを減らしながら、ユニットのアクティビティを統計的に沈黙させるテクニックである。 本稿では,神経シナプスの量子特性に基づくドロップアウト正規化の生物学的に妥当なモデルであるquantal synaptic dilution (qsd)について紹介する。 QSDはReLU多層パーセプトロンにおいて標準的なドロップアウトよりも優れており、トレーニング可能な重量やバイアス分布の変化なしに、ドロップアウトマスクをアイデンティティ関数に置き換えるテスト時にスパース符号化が強化されている。 畳み込みネットワークの場合、この手法は、追加の正規化形式を含むことなく、コンピュータビジョンタスクの一般化も改善する。 QSDはまた、言語モデリングと感情分析のためのリカレントネットワークにおける標準のドロップアウトよりも優れています。 ドロップアウトの多くのバリエーションに対するqsdの利点は、標準ドロップアウトが適用可能なすべての従来のディープネットワークで一般的に実装可能であることである。

関連論文リスト

• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Implicit regularization of dropout [3.42658286826597]
  一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。 本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。 降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
  論文  参考訳（メタデータ） (2022-07-13T04:09:14Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Recurrence of Optimum for Training Weight and Activation Quantized Networks [4.103701929881022]
  低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。 ネットワーク量子化の性質を克服する方法を紹介します。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
  論文  参考訳（メタデータ） (2020-12-10T09:14:43Z)
• Optical Phase Dropout in Diffractive Deep Neural Network [0.0]
  単体学習は、完全な接続を持つ深層複素数値ニューラルネットワークにおいて、ユニタリウェイト更新を更新するのに役立つ。 ユニタリ重みの正方行列特性は、関数信号がうまく一般化できない有限次元を持つことを誘導する。 複素ドロップアウトから進化し、統計的推論を持つユニタリ空間における位相降下は、初めて定式化される。 ディジタルモデルと拡散モデルとの等価性は、[DN]2で物理的に実装された非線形活性化を回避できる化合物変調を決定する。
  論文  参考訳（メタデータ） (2020-11-28T13:33:23Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。