論文の概要: Learning k-Level Sparse Neural Networks Using a New Generalized Weighted
Group Sparse Envelope Regularization
- arxiv url: http://arxiv.org/abs/2212.12921v3
- Date: Tue, 3 Oct 2023 11:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 10:59:57.131356
- Title: Learning k-Level Sparse Neural Networks Using a New Generalized Weighted
Group Sparse Envelope Regularization
- Title(参考訳): 新しい一般化重み付き群スパースエンベロープ正規化を用いたkレベルスパースニューラルネットワークの学習
- Authors: Yehonathan Refael and Iftach Arbel and Wasim Huleihel
- Abstract要約: トレーニング中の非構造化ニューラルネットワークの効率的な手法を提案する。
We use a novel sparse envelope function (SEF) used as a regularizer, called itshape group envelope function (WGSEF)。
この手法により、ハードウェアフレンドリーな構造化された深部ニューラルネットワーク(DNN)がスパースの評価を効率的に高速化する。
- 参考スコア(独自算出の注目度): 4.557963624437785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an efficient method to learn both unstructured and structured
sparse neural networks during training, utilizing a novel generalization of the
sparse envelope function (SEF) used as a regularizer, termed {\itshape{weighted
group sparse envelope function}} (WGSEF). The WGSEF acts as a neuron group
selector, which is leveraged to induce structured sparsity. The method ensures
a hardware-friendly structured sparsity of a deep neural network (DNN) to
efficiently accelerate the DNN's evaluation. Notably, the method is adaptable,
letting any hardware specify group definitions, such as filters, channels,
filter shapes, layer depths, a single parameter (unstructured), etc. Owing to
the WGSEF's properties, the proposed method allows to a pre-define sparsity
level that would be achieved at the training convergence, while maintaining
negligible network accuracy degradation or even improvement in the case of
redundant parameters. We introduce an efficient technique to calculate the
exact value of the WGSEF along with its proximal operator in a worst-case
complexity of $O(n)$, where $n$ is the total number of group variables. In
addition, we propose a proximal-gradient-based optimization method to train the
model, that is, the non-convex minimization of the sum of the neural network
loss and the WGSEF. Finally, we conduct an experiment and illustrate the
efficiency of our proposed technique in terms of the completion ratio,
accuracy, and inference latency.
- Abstract(参考訳): 本稿では、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を利用して、トレーニング中に非構造的および構造的スパースニューラルネットワークの両方を学習する効率的な方法を提案する。
WGSEFは神経細胞群セレクターとして機能し、構造的疎結合を誘導する。
この手法により、ディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造化された空間が確保され、DNNの評価を効率的に加速する。
特に、この方法は適応可能であり、任意のハードウェアがフィルタ、チャネル、フィルタ形状、層深さ、単一のパラメータ(非構造化)などのグループ定義を指定できる。
WGSEFの特性により、提案手法は、冗長パラメータの場合の無視可能なネットワーク精度の劣化や改善を維持しつつ、トレーニング収束時に達成されるような空間レベルを事前に定義することができる。
我々は、WGSEFの正確な値を計算するための効率的な手法を導入し、その近似演算子とともに、最悪の場合、$O(n)$で、$n$は群変数の総数である。
さらに,モデル,すなわち,ニューラルネットワーク損失とwgsefの和の非凸最小化を学習するための近次勾配に基づく最適化手法を提案する。
最後に,提案手法の完成率,精度,推論遅延の観点から実験を行い,提案手法の有効性を実証する。
関連論文リスト
- ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised
Graph Neural Network [20.924559944655392]
本稿では,適応スペクトルウェーブレット変換を用いた自己教師付きグラフニューラルネットワーク(ASWT-SGNN)を提案する。
ASWT-SGNNは高密度スペクトル領域におけるフィルタ関数を正確に近似し、コストの高い固有分解を避ける。
ノード分類タスクにおける最先端モデルに匹敵するパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-12-10T03:07:42Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Feature Flow Regularization: Improving Structured Sparsity in Deep
Neural Networks [12.541769091896624]
プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である
特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。
VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
論文 参考訳(メタデータ) (2021-06-05T15:00:50Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳(メタデータ) (2020-09-29T06:24:32Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳(メタデータ) (2020-06-14T20:00:25Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。