論文の概要: Automatic Sparse Connectivity Learning for Neural Networks
- arxiv url: http://arxiv.org/abs/2201.05020v1
- Date: Thu, 13 Jan 2022 15:12:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 13:08:29.442388
- Title: Automatic Sparse Connectivity Learning for Neural Networks
- Title（参考訳）: ニューラルネットワークのためのスパース接続学習
- Authors: Zhimin Tang, Linkai Luo, Bike Xie, Yiyu Zhu, Rujie Zhao, Lvqing Bi,
Chao Lu
- Abstract要約: 十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。
本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。
SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
- 参考スコア（独自算出の注目度）: 4.875787559251317
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Since sparse neural networks usually contain many zero weights, these
unnecessary network connections can potentially be eliminated without degrading
network performance. Therefore, well-designed sparse neural networks have the
potential to significantly reduce FLOPs and computational resources. In this
work, we propose a new automatic pruning method - Sparse Connectivity Learning
(SCL). Specifically, a weight is re-parameterized as an element-wise
multiplication of a trainable weight variable and a binary mask. Thus, network
connectivity is fully described by the binary mask, which is modulated by a
unit step function. We theoretically prove the fundamental principle of using a
straight-through estimator (STE) for network pruning. This principle is that
the proxy gradients of STE should be positive, ensuring that mask variables
converge at their minima. After finding Leaky ReLU, Softplus, and Identity STEs
can satisfy this principle, we propose to adopt Identity STE in SCL for
discrete mask relaxation. We find that mask gradients of different features are
very unbalanced, hence, we propose to normalize mask gradients of each feature
to optimize mask variable training. In order to automatically train sparse
masks, we include the total number of network connections as a regularization
term in our objective function. As SCL does not require pruning criteria or
hyper-parameters defined by designers for network layers, the network is
explored in a larger hypothesis space to achieve optimized sparse connectivity
for the best performance. SCL overcomes the limitations of existing automatic
pruning methods. Experimental results demonstrate that SCL can automatically
learn and select important network connections for various baseline network
structures. Deep learning models trained by SCL outperform the SOTA
human-designed and automatic pruning methods in sparsity, accuracy, and FLOPs
reduction.
- Abstract（参考訳）: スパースニューラルネットワークは通常、多くのゼロウェイトを含むため、ネットワーク性能を低下させることなく、これらの不要なネットワーク接続を除去することができる。
したがって、よく設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。
本研究では,新しい自動刈り取り手法であるスパース接続学習(scl)を提案する。
具体的には、重みを訓練可能な重み変数とバイナリマスクの要素別乗算として再パラメータ化する。
したがって、ネットワーク接続は、単位ステップ関数によって変調されるバイナリマスクによって完全に記述される。
ネットワークプルーニングにストレートスルー推定器(STE)を用いるという基本原理を理論的に証明する。
この原理は、steのプロキシ勾配は正であり、マスク変数が最小値で収束することを保証すべきである。
Leaky ReLU、Softplus、Identity STEは、この原則を満たすことができるが、離散マスク緩和のためにSCLにIdentity STEを採用することを提案する。
異なる特徴のマスク勾配は非常に不均衡であるため、各特徴のマスク勾配を正規化してマスク変動訓練を最適化することを提案する。
スパースマスクを自動的にトレーニングするために、目的関数に正規化項としてネットワーク接続の総数を含める。
SCLは、ネットワーク層の設計者が定義したプルーニング基準やハイパーパラメータを必要としないため、ネットワークはより広い仮説空間で探索され、最高の性能でスパース接続を実現する。
SCLは、既存の自動プルーニング手法の限界を克服する。
実験の結果,SCLは様々なベースラインネットワーク構造に対する重要なネットワーク接続を自動的に学習し,選択することができることがわかった。
SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎度、精度、FLOPs削減で上回る。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Communication-Efficient Federated Learning via Regularized Sparse Random
Networks [21.491346993533572]
本研究では,フェデレート学習におけるコミュニケーション効率向上のための新しい手法を提案する。
この設定では、二項マスクはモデル重みの代わりに最適化され、固定される。
伝統的な連邦学習における浮動小数点の重みよりも、Sの疎二元マスクが交換される。
論文 参考訳（メタデータ） (2023-09-19T14:05:12Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。
本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。
これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文 参考訳（メタデータ） (2022-10-13T03:39:03Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳（メタデータ） (2020-03-30T17:59:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。