論文の概要: SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks

• arxiv url: http://arxiv.org/abs/2102.03773v1
• Date: Sun, 7 Feb 2021 10:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:13:25.559285
• Title: SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks
• Title（参考訳）: SeReNe: ニューラルネットワークにおける構造空間に対するニューロンの正則化
• Authors: Enzo Tartaglione, Andrea Bragagnolo, Francesco Odierna, Attilio Fiandrotti, Marco Grangetto
• Abstract要約: SeReNeはスパーストポロジを構造で学習する方法である。 ニューロンの感度をネットワーク出力の変動として定義する。 コスト関数のニューロン感度を正規化用語に含めることで、低感度でニューロンをプーンすることができる。
• 参考スコア（独自算出の注目度）: 13.60023740064471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks include millions of learnable parameters, making their deployment over resource-constrained devices problematic. SeReNe (Sensitivity-based Regularization of Neurons) is a method for learning sparse topologies with a structure, exploiting neural sensitivity as a regularizer. We define the sensitivity of a neuron as the variation of the network output with respect to the variation of the activity of the neuron. The lower the sensitivity of a neuron, the less the network output is perturbed if the neuron output changes. By including the neuron sensitivity in the cost function as a regularization term, we areable to prune neurons with low sensitivity. As entire neurons are pruned rather then single parameters, practical network footprint reduction becomes possible. Our experimental results on multiple network architectures and datasets yield competitive compression ratios with respect to state-of-the-art references.
• Abstract（参考訳）: 深層ニューラルネットワークには数百万の学習可能なパラメータが含まれているため、リソースに制約のあるデバイスへのデプロイが問題になる。 SeReNe(Sensitivity-based regularization of Neurons)は、神経の感度を正規化として利用し、構造を持つスパーストポロジを学習する手法である。 我々はニューロンの感度をニューロンの活動の変動に関するネットワーク出力の変動として定義する。 ニューロンの感度が低いほど、ニューロンの出力が変化すると、ネットワーク出力が摂動される。 ニューロンの感度を正規化項としてコスト関数に含めることで、感度の低いニューロンをプルートすることができる。 ニューロン全体が刈り取られるので、単一のパラメータでネットワークのフットプリントを削減できる。 複数のネットワークアーキテクチャとデータセットに対する実験結果から,最先端参照に対する競合圧縮比が得られた。

関連論文リスト

• Neuroevolutionary algorithms driven by neuron coverage metrics for semi-supervised classification [60.60571130467197]
  一部の機械学習アプリケーションでは、ラベル付けされていないインスタンスが豊富であるのに対して、教師付き分類のためのラベル付きインスタンスの可用性は制限されている。 本稿では、ニューラルネットワークアーキテクチャ上で計算されたニューラルネットワークカバレッジメトリクスを用いて、未ラベルのインスタンスを利用する神経進化的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-05T23:38:44Z)
• Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
  我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-02-11T23:55:50Z)
• Complex Dynamic Neurons Improved Spiking Transformer Network for Efficient Automatic Speech Recognition [8.998797644039064]
  リークインテグレーテッド・アンド・ファイア(LIF)ニューロンを用いたスパイクニューラルネットワーク(SNN)は、音声認識(ASR)タスクで一般的に用いられている。 ここでは、スパイキングトランスから生成された逐次パターンを後処理する4種類の神経力学を紹介する。 その結果,DyTr-SNNは音素誤り率の低下,計算コストの低下,ロバスト性の向上など,非トイ自動音声認識タスクをうまく処理できることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T16:20:27Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• The Compact Support Neural Network [6.47243430672461]
  本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。 トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-04-01T06:08:09Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network [39.341620528427306]
  軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。 損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。 我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
  論文  参考訳（メタデータ） (2021-02-04T04:41:04Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。