論文の概要: Learning k-Level Sparse Neural Networks Using a New Generalized Group Sparse Envelope Regularization

• arxiv url: http://arxiv.org/abs/2212.12921v1
• Date: Sun, 25 Dec 2022 15:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:47:37.857959
• Title: Learning k-Level Sparse Neural Networks Using a New Generalized Group Sparse Envelope Regularization
• Title（参考訳）: 新しい一般化グループスパースエンベロープ正規化を用いたkレベルスパースニューラルネットワークの学習
• Authors: Yehonathan Refael and Iftach Arbel and Wasim Huleihel
• Abstract要約: トレーニング中に非構造化ニューラルネットワークと構造化ニューラルネットワークを効率よく評価する方法を提案する。 我々は、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を、イットシェープグループエンベロープ関数(GSEF)と呼ぶ。 本手法はディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造空間を受信し,DNNの評価を効率的に高速化する。
• 参考スコア（独自算出の注目度）: 8.018332776081662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an efficient method to learn both unstructured and structured sparse neural networks during training, using a novel generalization of the sparse envelope function (SEF) used as a regularizer, termed {\itshape{group sparse envelope function}} (GSEF). The GSEF acts as a neuron group selector, which we leverage to induce structured pruning. Our method receives a hardware-friendly structured sparsity of a deep neural network (DNN) to efficiently accelerate the DNN's evaluation. This method is flexible in the sense that it allows any hardware to dictate the definition of a group, such as a filter, channel, filter shape, layer depth, a single parameter (unstructured), etc. By the nature of the GSEF, the proposed method is the first to make possible a pre-define sparsity level that is being achieved at the training convergence, while maintaining negligible network accuracy degradation. We propose an efficient method to calculate the exact value of the GSEF along with its proximal operator, in a worst-case complexity of $O(n)$, where $n$ is the total number of groups variables. In addition, we propose a proximal-gradient-based optimization method to train the model, that is, the non-convex minimization of the sum of the neural network loss and the GSEF. Finally, we conduct an experiment and illustrate the efficiency of our proposed technique in terms of the completion ratio, accuracy, and inference latency.
• Abstract（参考訳）: 本研究では、正規化器として使われるスパースエンベロープ関数(SEF)の新たな一般化を用いて、トレーニング中に非構造的および構造的スパースニューラルネットワークの両方を学習する効率的な方法を提案する。 GSEFはニューロン群セレクタとして機能し、構造化プルーニングを誘導する。 本手法はディープニューラルネットワーク(DNN)のハードウェアフレンドリーな構造空間を受信し,DNNの評価を効率的に高速化する。 この方法は、フィルタ、チャネル、フィルタ形状、層深さ、単一のパラメータ(非構造化)など、任意のハードウェアがグループの定義を決定できるという意味で柔軟である。 GSEFの特性により,提案手法は,ネットワーク精度の劣化を抑えつつ,トレーニング収束時に達成される事前定義された空間レベルを実現するための最初の方法である。 GSEFの正確な値を近似演算子と共に計算する効率的な手法を提案し、最悪の場合の複雑性は$O(n)$で、$n$はグループ変数の総数である。 さらに,ニューラルネット損失とgsefの和の非凸最小化というモデル学習のための近次勾配に基づく最適化手法を提案する。 最後に,提案手法の完成率,精度,推論遅延の観点から実験を行い,提案手法の有効性を実証する。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Leveraging power grid topology in machine learning assisted optimal power flow [0.5076419064097734]
  機械学習支援最適電力フロー(OPF)は、非線形および非制約電力フロー問題の計算複雑性を低減することを目的としている。 我々は,機械支援OPFの2つの基本的アプローチに対して,さまざまなFCNN,CNN,GNNモデルの性能を評価する。 相互接続されたユーティリティを持ついくつかの合成格子に対して,特徴変数と対象変数の間の局所性特性は乏しいことを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:39:53Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。