論文の概要: Training Sparse Neural Network by Constraining Synaptic Weight on Unit
Lp Sphere
- arxiv url: http://arxiv.org/abs/2103.16013v1
- Date: Tue, 30 Mar 2021 01:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 15:11:10.234429
- Title: Training Sparse Neural Network by Constraining Synaptic Weight on Unit
Lp Sphere
- Title(参考訳): 単位lp球上のシナプス重みの制約によるスパースニューラルネットワークの訓練
- Authors: Weipeng Li, Xiaogang Yang, Chuanxiang Li, Ruitao Lu, Xueli Xie
- Abstract要約: 単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。
このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
- 参考スコア(独自算出の注目度): 2.429910016019183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse deep neural networks have shown their advantages over dense models
with fewer parameters and higher computational efficiency. Here we demonstrate
constraining the synaptic weights on unit Lp-sphere enables the flexibly
control of the sparsity with p and improves the generalization ability of
neural networks. Firstly, to optimize the synaptic weights constrained on unit
Lp-sphere, the parameter optimization algorithm, Lp-spherical gradient descent
(LpSGD) is derived from the augmented Empirical Risk Minimization condition,
which is theoretically proved to be convergent. To understand the mechanism of
how p affects Hoyer's sparsity, the expectation of Hoyer's sparsity under the
hypothesis of gamma distribution is given and the predictions are verified at
various p under different conditions. In addition, the "semi-pruning" and
threshold adaptation are designed for topology evolution to effectively screen
out important connections and lead the neural networks converge from the
initial sparsity to the expected sparsity. Our approach is validated by
experiments on benchmark datasets covering a wide range of domains. And the
theoretical analysis pave the way to future works on training sparse neural
networks with constrained optimization.
- Abstract(参考訳): スパース深層ニューラルネットワークは、パラメータが少なく計算効率の高い密集したモデルよりもそのアドバンテージを示している。
ここでは, 単位Lp-球面上のシナプス重みを制約することにより, p で空間を柔軟に制御し, ニューラルネットワークの一般化能力を向上させることを実証する。
第一に、単位Lp-球面に制約されたシナプス重みを最適化するために、パラメータ最適化アルゴリズム、Lp-球面勾配勾配(LpSGD)は、理論的に収束することが証明された経験的リスク最小化条件から導かれる。
p がホイヤーのスパース性にどのように影響するかを理解するために、ガンマ分布の仮説に基づくホイヤーのスパース性への期待が与えられ、異なる条件下で様々な p において予測が検証される。
さらに、"semi-pruning"としきい値適応は、トポロジーの進化のために設計され、重要な接続を効果的にスクリーニングし、ニューラルネットワークが初期スパーシティから期待されるスパーシティへと収束する。
このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
そして理論的解析は、制約付き最適化によるスパースニューラルネットワークのトレーニングへの道を開く。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - An Infinite-Width Analysis on the Jacobian-Regularised Training of a
Neural Network [12.268444406523955]
深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。
この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。
我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
論文 参考訳(メタデータ) (2023-12-06T09:52:18Z) - A comprehensive study of spike and slab shrinkage priors for
structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-17T17:14:18Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳(メタデータ) (2022-01-14T06:42:42Z) - Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical
Guarantees and Implementation Details [0.5156484100374059]
スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。
本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。
本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
論文 参考訳(メタデータ) (2021-08-25T00:48:07Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳(メタデータ) (2020-10-25T17:10:22Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z) - Neural Proximal/Trust Region Policy Optimization Attains Globally
Optimal Policy [119.12515258771302]
オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。
我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
論文 参考訳(メタデータ) (2019-06-25T03:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。