論文の概要: Neural Network Reduction with Guided Regularizers

• arxiv url: http://arxiv.org/abs/2305.18448v1
• Date: Mon, 29 May 2023 03:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 20:53:34.241184
• Title: Neural Network Reduction with Guided Regularizers
• Title（参考訳）: 誘導正則化器によるニューラルネットワークの低減
• Authors: Ali Haisam Muhammad Rafid, Adrian Sandu
• Abstract要約: 正規化技術はニューラルネットワーク(NN)のスペーサー化に有効である ガイド正規化」は訓練中のNNユニットの重量を他のものよりも優先する。 提案手法は,性能を保ちながらNNを刈り取るのに有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization techniques such as $\mathcal{L}_1$ and $\mathcal{L}_2$ regularizers are effective in sparsifying neural networks (NNs). However, to remove a certain neuron or channel in NNs, all weight elements related to that neuron or channel need to be prunable, which is not guaranteed by traditional regularization. This paper proposes a simple new approach named "Guided Regularization" that prioritizes the weights of certain NN units more than others during training, which renders some of the units less important and thus, prunable. This is different from the scattered sparsification of $\mathcal{L}_1$ and $\mathcal{L}_2$ regularizers where the the components of a weight matrix that are zeroed out can be located anywhere. The proposed approach offers a natural reduction of NN in the sense that a model is being trained while also neutralizing unnecessary units. We empirically demonstrate that our proposed method is effective in pruning NNs while maintaining performance.
• Abstract（参考訳）: $\mathcal{l}_1$ や $\mathcal{l}_2$ のような正規化技術はニューラルネットワーク(nn)のスパース化に有効である。 しかし、nns内の特定のニューロンまたはチャネルを除去するためには、そのニューロンまたはチャネルに関連する全ての重み要素は、従来の正規化によって保証されていないprunableである必要がある。 本稿では,訓練中のnn単位の重みを他の単位よりも優先する「誘導正規化」という単純な新しい手法を提案する。 これは、ゼロである重み行列の成分がどこにでも配置できる、$\mathcal{l}_1$ と $\mathcal{l}_2$ の散在したスパース化とは異なる。 提案手法は,不必要な単位を中和しながらモデルが訓練されているという意味で,nnを自然に還元する。 提案手法は,性能を保ちながらNNを刈り取るのに有効であることを示す。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Individual Fairness Guarantees for Neural Networks [0.0]
  我々は、フィードフォワードニューラルネットワーク(NN)の個人公正性(IF)を認定する問題を考える。 我々は$epsilon$-$delta$-IF の定式化に取り組んでおり、$epsilon$-similar の任意のペア間の出力差は最大決定耐性によって制限される。 この定式化は、NN損失を変更することで、トレーニング時のモデルの公平性を促進するためにどのように使用できるかを示し、我々のアプローチが最先端の手法よりもはるかに公平なNNを生成することを実証的に確認する。
  論文  参考訳（メタデータ） (2022-05-11T20:21:07Z)
• Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive? [16.105097124039602]
  古典的非パラメトリック回帰問題のレンズからニューラルネットワーク(NN)の理論を研究する。 私たちの研究は、なぜ深さが重要なのか、そしてNNがカーネルメソッドよりも強力であるかについて、新たな光を当てています。
  論文  参考訳（メタデータ） (2022-04-20T17:55:16Z)
• An efficient projection neural network for $\ell_1$-regularized logistic regression [10.517079029721257]
  本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。 提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。 また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
  論文  参考訳（メタデータ） (2021-05-12T06:13:44Z)
• The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks [36.753907384994704]
  ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。 我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。 過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
  論文  参考訳（メタデータ） (2020-10-02T15:23:22Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)
• Volumization as a Natural Generalization of Weight Decay [25.076488081589403]
  物理に触発されて、ニューラルネットワークの重みパラメータの物理体積を定義する。 本稿では,この手法がニューラルネットワークの正則化に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T07:13:55Z)
• Neural Arithmetic Units [84.65228064780744]
  ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
  論文  参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。