論文の概要: N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip
Connections
- arxiv url: http://arxiv.org/abs/2208.03662v1
- Date: Sun, 7 Aug 2022 08:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:50:30.090940
- Title: N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip
Connections
- Title(参考訳): n2nskip: ニューロンからニューロンへのスキップ接続を用いた高スパースネットワークの学習
- Authors: Arvind Subramaniam and Avinash Sharma
- Abstract要約: 本研究は,ニューラルン・ツー・ニューラルン・スキップ接続(Sparse weighted skip connection)として機能するニューラルン・ツー・ニューラルン・スキップ接続(Neuron-to-neuron skip connection)を提案し,ニューラルン・ツー・ニューラル・ニューラル・ニューラルネットワークの全体的な接続性を高める。
切断ネットワークにおけるN2NSkip接続の導入は,特に高分散レベルにおいて,非常に優れた性能を実現することを実証した。
- 参考スコア(独自算出の注目度): 6.4932014756231915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The over-parametrized nature of Deep Neural Networks leads to considerable
hindrances during deployment on low-end devices with time and space
constraints. Network pruning strategies that sparsify DNNs using iterative
prune-train schemes are often computationally expensive. As a result,
techniques that prune at initialization, prior to training, have become
increasingly popular. In this work, we propose neuron-to-neuron skip
connections, which act as sparse weighted skip connections, to enhance the
overall connectivity of pruned DNNs. Following a preliminary pruning step,
N2NSkip connections are randomly added between individual neurons/channels of
the pruned network, while maintaining the overall sparsity of the network. We
demonstrate that introducing N2NSkip connections in pruned networks enables
significantly superior performance, especially at high sparsity levels, as
compared to pruned networks without N2NSkip connections. Additionally, we
present a heat diffusion-based connectivity analysis to quantitatively
determine the connectivity of the pruned network with respect to the reference
network. We evaluate the efficacy of our approach on two different preliminary
pruning methods which prune at initialization, and consistently obtain superior
performance by exploiting the enhanced connectivity resulting from N2NSkip
connections.
- Abstract(参考訳): Deep Neural Networksの過度なパラメータ化の性質は、時間と空間の制約のあるローエンドデバイスへのデプロイメントにおいて、かなりの障害を引き起こす。
反復的なプルー・トレインスキームを用いてDNNをスパース化するネットワークプルーニング戦略は、しばしば計算コストがかかる。
その結果,初等化にともなう技術は,教育に先立って普及してきている。
そこで本研究では, 切り抜きDNNの全体的な接続性を高めるために, 疎重み付きスキップ接続として機能するニューロン-ニューロン間スキップ接続を提案する。
予備的なプルーニングステップの後、N2NSkip接続は、ネットワーク全体の間隔を維持しながら、プルーニングされたネットワークの個々のニューロン/チャネル間でランダムに付加される。
本研究では, N2NSkip 接続のないネットワークと比較して, 高い疎度において, N2NSkip 接続の導入により性能が著しく向上することが実証された。
さらに, 熱拡散に基づく接続解析を行い, プルーンネットワークの接続を基準ネットワークに対して定量的に決定する。
本研究では,n2nskip接続による接続性の向上を活かし,初期化時にプルーニングを行う2種類のプリミティブプルーニング法の有効性を評価した。
関連論文リスト
- Associated Random Neural Networks for Collective Classification of Nodes
in Botnet Attacks [1.517849300165222]
ボットネット攻撃はネットワーク化されたシステムにとって大きな脅威である。
本研究は,nノードIPネットワークからのトラフィックを動作させる集合Botnet攻撃分類手法を導入し,不正なノードを識別する新しいAssociated Random Neural Network(ARNN)を提案する。
論文 参考訳(メタデータ) (2023-03-23T19:32:31Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for
Neural Networks [9.43712471169533]
まず、完全連結、残留ネットワーク(ResNet)、密結合ネットワーク(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化について述べる。
本研究では,2層ネットワークであるprioritwoとresnetcitee 2019prioriresの集団リスクの誤差解析をdrknetに拡張し,一定の軽度条件を満たすニューラルネットワークでは同様の推定が得られることを示す。
論文 参考訳(メタデータ) (2021-03-30T13:54:33Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳(メタデータ) (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。