論文の概要: Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life

• arxiv url: http://arxiv.org/abs/2302.05818v1
• Date: Sat, 11 Feb 2023 23:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:25:41.783971
• Title: Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life
• Title（参考訳）: シナプス・ストリッピング:刈り取りが死んだ神経細胞を生き返らせる方法
• Authors: Tim Whitaker, Darrell Whitley
• Abstract要約: 我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rectified Linear Units (ReLU) are the default choice for activation functions in deep neural networks. While they demonstrate excellent empirical performance, ReLU activations can fall victim to the dead neuron problem. In these cases, the weights feeding into a neuron end up being pushed into a state where the neuron outputs zero for all inputs. Consequently, the gradient is also zero for all inputs, which means that the weights which feed into the neuron cannot update. The neuron is not able to recover from direct back propagation and model capacity is reduced as those parameters can no longer be further optimized. Inspired by a neurological process of the same name, we introduce Synaptic Stripping as a means to combat this dead neuron problem. By automatically removing problematic connections during training, we can regenerate dead neurons and significantly improve model capacity and parametric utilization. Synaptic Stripping is easy to implement and results in sparse networks that are more efficient than the dense networks they are derived from. We conduct several ablation studies to investigate these dynamics as a function of network width and depth and we conduct an exploration of Synaptic Stripping with Vision Transformers on a variety of benchmark datasets.
• Abstract（参考訳）: Rectified Linear Units (ReLU)は、ディープニューラルネットワークにおけるアクティベーション関数のデフォルト選択である。 優れた経験的性能を示すが、ReLUの活性化は致命的な神経細胞の障害を負う可能性がある。 これらの場合、ニューロンに供給される重みは、全ての入力に対してニューロンがゼロを出力する状態へと押し込まれる。 したがって、全ての入力に対して勾配はゼロであり、ニューロンに供給される重みは更新できない。 ニューロンは直接のバック伝播から回復できず、それらのパラメータがこれ以上最適化されなくなるため、モデル容量は減少する。 同じ名前の神経学的プロセスに触発されて、この死んだニューロンの問題に対処する手段としてシナプス切断を導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、デッドニューロンを再生し、モデルの容量とパラメトリック利用を大幅に改善することができる。 シナプスストリッピングは実装が容易であり、そこから得られる高密度ネットワークよりも効率の良いスパースネットワークが得られる。 ネットワーク幅と深さの関数としてこれらのダイナミクスを調べるため、いくつかのアブレーション研究を行い、様々なベンチマークデータセット上で視覚トランスフォーマーを用いたシナプスストリップの探索を行った。

関連論文リスト

• Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks [10.346584735416089]
  人工ニューラルネットワークのニューロンは、生物学的ニューロンが現在知られているよりもはるかに少ない時期に発明された。 我々の研究は、核ニューロンユニットを生物学的ニューロンとより並列にするための修正を探究する。 本稿では,深部ニューラルネットワークの人工ニューロンを有効活用し,より高性能な符号化を実現する"穿孔"バックプロパゲーションシステムについて検討する。
  論文  参考訳（メタデータ） (2025-01-29T22:09:45Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks [13.60023740064471]
  SeReNeはスパーストポロジを構造で学習する方法である。 ニューロンの感度をネットワーク出力の変動として定義する。 コスト関数のニューロン感度を正規化用語に含めることで、低感度でニューロンをプーンすることができる。
  論文  参考訳（メタデータ） (2021-02-07T10:53:30Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation [8.845660219190298]
  プルーニングアプローチは、モデルの決定に寄与しない低塩性ニューロンを求める。 この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンを検出することに成功しているかどうかを調査する。 これは、まず特定のニューロン(高次ニューロンと低次ニューロンからなる)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示している。
  論文  参考訳（メタデータ） (2020-01-06T19:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。