論文の概要: N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections

• arxiv url: http://arxiv.org/abs/2208.03662v1
• Date: Sun, 7 Aug 2022 08:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:50:30.090940
• Title: N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections
• Title（参考訳）: n2nskip: ニューロンからニューロンへのスキップ接続を用いた高スパースネットワークの学習
• Authors: Arvind Subramaniam and Avinash Sharma
• Abstract要約: 本研究は,ニューラルン・ツー・ニューラルン・スキップ接続(Sparse weighted skip connection)として機能するニューラルン・ツー・ニューラルン・スキップ接続(Neuron-to-neuron skip connection)を提案し,ニューラルン・ツー・ニューラル・ニューラル・ニューラルネットワークの全体的な接続性を高める。 切断ネットワークにおけるN2NSkip接続の導入は,特に高分散レベルにおいて,非常に優れた性能を実現することを実証した。
• 参考スコア（独自算出の注目度）: 6.4932014756231915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The over-parametrized nature of Deep Neural Networks leads to considerable hindrances during deployment on low-end devices with time and space constraints. Network pruning strategies that sparsify DNNs using iterative prune-train schemes are often computationally expensive. As a result, techniques that prune at initialization, prior to training, have become increasingly popular. In this work, we propose neuron-to-neuron skip connections, which act as sparse weighted skip connections, to enhance the overall connectivity of pruned DNNs. Following a preliminary pruning step, N2NSkip connections are randomly added between individual neurons/channels of the pruned network, while maintaining the overall sparsity of the network. We demonstrate that introducing N2NSkip connections in pruned networks enables significantly superior performance, especially at high sparsity levels, as compared to pruned networks without N2NSkip connections. Additionally, we present a heat diffusion-based connectivity analysis to quantitatively determine the connectivity of the pruned network with respect to the reference network. We evaluate the efficacy of our approach on two different preliminary pruning methods which prune at initialization, and consistently obtain superior performance by exploiting the enhanced connectivity resulting from N2NSkip connections.
• Abstract（参考訳）: Deep Neural Networksの過度なパラメータ化の性質は、時間と空間の制約のあるローエンドデバイスへのデプロイメントにおいて、かなりの障害を引き起こす。 反復的なプルー・トレインスキームを用いてDNNをスパース化するネットワークプルーニング戦略は、しばしば計算コストがかかる。 その結果,初等化にともなう技術は,教育に先立って普及してきている。 そこで本研究では, 切り抜きDNNの全体的な接続性を高めるために, 疎重み付きスキップ接続として機能するニューロン-ニューロン間スキップ接続を提案する。 予備的なプルーニングステップの後、N2NSkip接続は、ネットワーク全体の間隔を維持しながら、プルーニングされたネットワークの個々のニューロン/チャネル間でランダムに付加される。 本研究では, N2NSkip 接続のないネットワークと比較して, 高い疎度において, N2NSkip 接続の導入により性能が著しく向上することが実証された。 さらに, 熱拡散に基づく接続解析を行い, プルーンネットワークの接続を基準ネットワークに対して定量的に決定する。 本研究では,n2nskip接続による接続性の向上を活かし,初期化時にプルーニングを行う2種類のプリミティブプルーニング法の有効性を評価した。

関連論文リスト

• Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts [5.524804393257921]
  本稿では,Ghost Connect-Net(GC-Net)を導入し,分散一般化によるネットワーク接続の監視を行う。 GC-Netをプルーニングした後、プルーニングされた場所はプルーニングされた接続として元のネットワークにマップされる。 本稿では,GC-Netの分散シフト下での一般化向上のための理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-11-14T05:43:42Z)
• On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks [0.19999259391104385]
  スパイクニューラルネットワーク(SNN)への関心は着実に増加しており、フォーマルニューラルネットワーク(FNN)に代わるエネルギー効率の高い代替品として期待されている。 本稿では,SNN訓練における知識蒸留(KD)を活用して,性能とスパイク活動のトレードオフを最適化することを提案する。
  論文  参考訳（メタデータ） (2024-06-26T13:51:57Z)
• Associated Random Neural Networks for Collective Classification of Nodes in Botnet Attacks [1.517849300165222]
  ボットネット攻撃はネットワーク化されたシステムにとって大きな脅威である。 本研究は,nノードIPネットワークからのトラフィックを動作させる集合Botnet攻撃分類手法を導入し,不正なノードを識別する新しいAssociated Random Neural Network(ARNN)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T19:32:31Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
  ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
  論文  参考訳（メタデータ） (2020-02-18T05:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。