論文の概要: Learning k-Level Sparse Neural Networks Using a New Generalized Weighted Group Sparse Envelope Regularization

• arxiv url: http://arxiv.org/abs/2212.12921v3
• Date: Tue, 3 Oct 2023 11:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 10:59:57.131356
• Title: Learning k-Level Sparse Neural Networks Using a New Generalized Weighted Group Sparse Envelope Regularization
• Title（参考訳）: 新しい一般化重み付き群スパースエンベロープ正規化を用いたkレベルスパースニューラルネットワークの学習
• Authors: Yehonathan Refael and Iftach Arbel and Wasim Huleihel
• Abstract要約: トレーニング中の非構造化ニューラルネットワークの効率的な手法を提案する。 We use a novel sparse envelope function (SEF) used as a regularizer, called itshape group envelope function (WGSEF)。 この手法により、ハードウェアフレンドリーな構造化された深部ニューラルネットワーク(DNN)がスパースの評価を効率的に高速化する。
• 参考スコア（独自算出の注目度）: 4.557963624437785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an efficient method to learn both unstructured and structured sparse neural networks during training, utilizing a novel generalization of the sparse envelope function (SEF) used as a regularizer, termed {\itshape{weighted group sparse envelope function}} (WGSEF). The WGSEF acts as a neuron group selector, which is leveraged to induce structured sparsity. The method ensures a hardware-friendly structured sparsity of a deep neural network (DNN) to efficiently accelerate the DNN's evaluation. Notably, the method is adaptable, letting any hardware specify group definitions, such as filters, channels, filter shapes, layer depths, a single parameter (unstructured), etc. Owing to the WGSEF's properties, the proposed method allows to a pre-define sparsity level that would be achieved at the training convergence, while maintaining negligible network accuracy degradation or even improvement in the case of redundant parameters. We introduce an efficient technique to calculate the exact value of the WGSEF along with its proximal operator in a worst-case complexity of $O(n)$, where $n$ is the total number of group variables. In addition, we propose a proximal-gradient-based optimization method to train the model, that is, the non-convex minimization of the sum of the neural network loss and the WGSEF. Finally, we conduct an experiment and illustrate the efficiency of our proposed technique in terms of the completion ratio, accuracy, and inference latency.
• Abstract（参考訳）: 本稿では、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を利用して、トレーニング中に非構造的および構造的スパースニューラルネットワークの両方を学習する効率的な方法を提案する。 WGSEFは神経細胞群セレクターとして機能し、構造的疎結合を誘導する。 この手法により、ディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造化された空間が確保され、DNNの評価を効率的に加速する。 特に、この方法は適応可能であり、任意のハードウェアがフィルタ、チャネル、フィルタ形状、層深さ、単一のパラメータ(非構造化)などのグループ定義を指定できる。 WGSEFの特性により、提案手法は、冗長パラメータの場合の無視可能なネットワーク精度の劣化や改善を維持しつつ、トレーニング収束時に達成されるような空間レベルを事前に定義することができる。 我々は、WGSEFの正確な値を計算するための効率的な手法を導入し、その近似演算子とともに、最悪の場合、$O(n)$で、$n$は群変数の総数である。 さらに,モデル,すなわち,ニューラルネットワーク損失とwgsefの和の非凸最小化を学習するための近次勾配に基づく最適化手法を提案する。 最後に,提案手法の完成率,精度,推論遅延の観点から実験を行い,提案手法の有効性を実証する。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Leveraging power grid topology in machine learning assisted optimal power flow [0.5076419064097734]
  機械学習支援最適電力フロー(OPF)は、非線形および非制約電力フロー問題の計算複雑性を低減することを目的としている。 我々は,機械支援OPFの2つの基本的アプローチに対して,さまざまなFCNN,CNN,GNNモデルの性能を評価する。 相互接続されたユーティリティを持ついくつかの合成格子に対して,特徴変数と対象変数の間の局所性特性は乏しいことを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:39:53Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。