論文の概要: Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation
- arxiv url: http://arxiv.org/abs/2210.16589v1
- Date: Sat, 29 Oct 2022 12:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:41:22.846051
- Title: Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation
- Title（参考訳）: $\varepsilon$-perturbation を用いた強ロテリチケット仮説
- Authors: Zheyang Xiong, Fangshuo Liao, Anastasios Kyrillidis
- Abstract要約: 我々は、ロタリー・チケット仮説の理論的保証を、元のLTHとより類似したシナリオに拡張する。
ランダム初期重みに対する$varepsilon$-scale摂動を許容することにより、強いLTHにおける候補ネットワークの過剰パラメータ化要求を軽減できるだろうか?
予測されたSGDの摂動重みは,強いLTHプルーニング条件下での良好な性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 11.38723572165938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The strong Lottery Ticket Hypothesis (LTH) claims the existence of a
subnetwork in a sufficiently large, randomly initialized neural network that
approximates some target neural network without the need of training. We extend
the theoretical guarantee of the strong LTH literature to a scenario more
similar to the original LTH, by generalizing the weight change in the
pre-training step to some perturbation around initialization. In particular, we
focus on the following open questions: By allowing an $\varepsilon$-scale
perturbation on the random initial weights, can we reduce the
over-parameterization requirement for the candidate network in the strong LTH?
Furthermore, does the weight change by SGD coincide with a good set of such
perturbation?
We answer the first question by first extending the theoretical result on
subset sum to allow perturbation on the candidates. Applying this result to the
neural network setting, we show that such $\varepsilon$-perturbation reduces
the over-parameterization requirement of the strong LTH. To answer the second
question, we show via experiments that the perturbed weight achieved by the
projected SGD shows better performance under the strong LTH pruning.
- Abstract（参考訳）: Lottery Ticket仮説(LTH)は、トレーニングを必要とせずにターゲットニューラルネットワークを近似する、十分に大きく、ランダムに初期化されたニューラルネットワークにおけるサブネットワークの存在を主張する。
我々は、学習前の段階における重み変化を初期化に伴う摂動に一般化することにより、LTHの強い文献の理論的保証を元のLTHに近いシナリオに拡張する。
ランダムな初期重みに対する$\varepsilon$-scale摂動を許すことで、強いLTHのネットワークにおいて、候補ネットワークの過度パラメータ化要件を減らせることができるだろうか?
さらに、SGDによる重量変化は、そのような摂動のよいセットと一致しているか?
まず、集合和の理論的結果を拡張して、候補に対する摂動を可能にすることで、最初の質問に答える。
この結果をニューラルネットワーク設定に適用すると、そのような$\varepsilon$-perturbationは強いLTHの過度パラメータ化要求を減少させる。
第2の疑問に答えるために, 予測されたSGDの摂動重みは, 強いLTHプルーニング下での良好な性能を示すことを示した。
関連論文リスト
- Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - On the Sparsity of the Strong Lottery Ticket Hypothesis [8.47014750905382]
最近の研究で、任意のニューラルネットワークを正確に近似できるランダムニューラルネットワークの$N$ containsworksが示されている。
古典的セッティングにおけるStrong Lottery Ticket仮説の最初の証明を提供する。
論文 参考訳（メタデータ） (2024-10-18T06:57:37Z) - Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking
Neural Network [30.924449325020767]
Lottery Ticket hypothesis (LTH) は、ランダムにdの大きいニューラルネットワークは小さなサブネットワークを含んでいると述べている。
LTHはプルーニングネットワークのための新しいパスを開く。
論文 参考訳（メタデータ） (2023-05-20T09:27:34Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - A General Framework For Proving The Equivariant Strong Lottery Ticket
Hypothesis [15.376680573592997]
現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。
我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。
オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
論文 参考訳（メタデータ） (2022-06-09T04:40:18Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Optimal Lottery Tickets via SubsetSum: Logarithmic Over-Parameterization
is Sufficient [9.309655246559094]
幅$d$と深さ$l$の任意のターゲットネットワークは、幅$O(log(dl))$の2倍、幅$O(log(dl))$のランダムネットワークを切断することで近似できることを示す。
解析は、プルーニングランダムなReLUネットワークをtextscSubset問題のランダムなインスタンスに接続することに依存する。
論文 参考訳（メタデータ） (2020-06-14T19:32:10Z) - Fractional moment-preserving initialization schemes for training deep
neural networks [1.14219428942199]
ディープニューラルネットワーク(DNN)に対する従来のアプローチは、プレアクティベーションの分散を保存するために、ランダムにネットワーク重みをサンプリングすることである。
本稿では,重み付き分布をモデル化することで,重み付けや事前活性化をモデル化できることを示す。
数値実験により,本手法が訓練および試験性能を向上させることを示す。
論文 参考訳（メタデータ） (2020-05-25T01:10:01Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。