論文の概要: Learning k-Level Sparse Neural Networks Using a New Generalized Group
Sparse Envelope Regularization
- arxiv url: http://arxiv.org/abs/2212.12921v1
- Date: Sun, 25 Dec 2022 15:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 13:47:37.857959
- Title: Learning k-Level Sparse Neural Networks Using a New Generalized Group
Sparse Envelope Regularization
- Title(参考訳): 新しい一般化グループスパースエンベロープ正規化を用いたkレベルスパースニューラルネットワークの学習
- Authors: Yehonathan Refael and Iftach Arbel and Wasim Huleihel
- Abstract要約: トレーニング中に非構造化ニューラルネットワークと構造化ニューラルネットワークを効率よく評価する方法を提案する。
我々は、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を、イットシェープグループエンベロープ関数(GSEF)と呼ぶ。
本手法はディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造空間を受信し,DNNの評価を効率的に高速化する。
- 参考スコア(独自算出の注目度): 8.018332776081662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an efficient method to learn both unstructured and structured
sparse neural networks during training, using a novel generalization of the
sparse envelope function (SEF) used as a regularizer, termed {\itshape{group
sparse envelope function}} (GSEF). The GSEF acts as a neuron group selector,
which we leverage to induce structured pruning. Our method receives a
hardware-friendly structured sparsity of a deep neural network (DNN) to
efficiently accelerate the DNN's evaluation. This method is flexible in the
sense that it allows any hardware to dictate the definition of a group, such as
a filter, channel, filter shape, layer depth, a single parameter
(unstructured), etc. By the nature of the GSEF, the proposed method is the
first to make possible a pre-define sparsity level that is being achieved at
the training convergence, while maintaining negligible network accuracy
degradation. We propose an efficient method to calculate the exact value of the
GSEF along with its proximal operator, in a worst-case complexity of $O(n)$,
where $n$ is the total number of groups variables. In addition, we propose a
proximal-gradient-based optimization method to train the model, that is, the
non-convex minimization of the sum of the neural network loss and the GSEF.
Finally, we conduct an experiment and illustrate the efficiency of our proposed
technique in terms of the completion ratio, accuracy, and inference latency.
- Abstract(参考訳): 本研究では、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を用いて、トレーニング中に非構造的および構造的スパースニューラルネットワークの両方を学習する効率的な方法を提案する。
GSEFはニューロン群セレクタとして機能し、構造化プルーニングを誘導する。
本手法はディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造空間を受信し,DNNの評価を効率的に高速化する。
この方法は、フィルタ、チャネル、フィルタ形状、層深さ、単一のパラメータ(非構造化)など、任意のハードウェアがグループの定義を決定できるという意味で柔軟である。
GSEFの特性により,提案手法は,ネットワーク精度の劣化を抑えつつ,トレーニング収束時に達成される事前定義された空間レベルを実現するための最初の方法である。
GSEFの正確な値を近似演算子と共に計算する効率的な手法を提案し、最悪の場合の複雑性は$O(n)$で、$n$はグループ変数の総数である。
さらに,ニューラルネット損失とgsefの和の非凸最小化というモデル学習のための近次勾配に基づく最適化手法を提案する。
最後に,提案手法の完成率,精度,推論遅延の観点から実験を行い,提案手法の有効性を実証する。
関連論文リスト
- ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised
Graph Neural Network [20.924559944655392]
本稿では,適応スペクトルウェーブレット変換を用いた自己教師付きグラフニューラルネットワーク(ASWT-SGNN)を提案する。
ASWT-SGNNは高密度スペクトル領域におけるフィルタ関数を正確に近似し、コストの高い固有分解を避ける。
ノード分類タスクにおける最先端モデルに匹敵するパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-12-10T03:07:42Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Feature Flow Regularization: Improving Structured Sparsity in Deep
Neural Networks [12.541769091896624]
プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である
特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。
VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
論文 参考訳(メタデータ) (2021-06-05T15:00:50Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳(メタデータ) (2020-09-29T06:24:32Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳(メタデータ) (2020-06-14T20:00:25Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。