論文の概要: On the Sparsity of the Strong Lottery Ticket Hypothesis
- arxiv url: http://arxiv.org/abs/2410.14754v1
- Date: Fri, 18 Oct 2024 06:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:22:29.371915
- Title: On the Sparsity of the Strong Lottery Ticket Hypothesis
- Title（参考訳）: 強ロテリ・チケット仮説の空間性について
- Authors: Emanuele Natale, Davide Ferré, Giordano Giambartolomei, Frédéric Giroire, Frederik Mallmann-Trenn,
- Abstract要約: 最近の研究で、任意のニューラルネットワークを正確に近似できるランダムニューラルネットワークの$N$ containsworksが示されている。
古典的セッティングにおけるStrong Lottery Ticket仮説の最初の証明を提供する。
- 参考スコア（独自算出の注目度）: 8.47014750905382
- License:
- Abstract: Considerable research efforts have recently been made to show that a random neural network $N$ contains subnetworks capable of accurately approximating any given neural network that is sufficiently smaller than $N$, without any training. This line of research, known as the Strong Lottery Ticket Hypothesis (SLTH), was originally motivated by the weaker Lottery Ticket Hypothesis, which states that a sufficiently large random neural network $N$ contains \emph{sparse} subnetworks that can be trained efficiently to achieve performance comparable to that of training the entire network $N$. Despite its original motivation, results on the SLTH have so far not provided any guarantee on the size of subnetworks. Such limitation is due to the nature of the main technical tool leveraged by these results, the Random Subset Sum (RSS) Problem. Informally, the RSS Problem asks how large a random i.i.d. sample $\Omega$ should be so that we are able to approximate any number in $[-1,1]$, up to an error of $ \epsilon$, as the sum of a suitable subset of $\Omega$. We provide the first proof of the SLTH in classical settings, such as dense and equivariant networks, with guarantees on the sparsity of the subnetworks. Central to our results, is the proof of an essentially tight bound on the Random Fixed-Size Subset Sum Problem (RFSS), a variant of the RSS Problem in which we only ask for subsets of a given size, which is of independent interest.
- Abstract（参考訳）: 最近、ランダムニューラルネットワークの$N$が、トレーニングなしで十分なN$よりも小さい任意のニューラルネットワークを正確に近似できるサブネットワークを含んでいることを示す、重要な研究努力がなされている。
この一連の研究は、Strong Lottery Ticket hypothesis (SLTH)として知られるが、元々は弱いLottery Ticket hypothesisによって動機付けられていた。
当初の動機にもかかわらず、SLTHの結果はサブネットの規模を保証していない。
このような制限は、これらの結果、Random Subset Sum(RSS)問題によって活用される主要な技術ツールの性質に起因している。
RSS問題はランダムな i.d. sample $\Omega$ の大きさを問うもので、$[-1,1]$ の任意の数値を $ \epsilon$ の誤差まで、$\Omega$ の適当な部分集合の和として近似することができる。
本研究は,高密度ネットワークや同変ネットワークなどの古典的設定におけるSLTHの最初の証明であり,サブネットの空間性を保証するものである。
結果の中心は、ランダム固定サイズサブセット問題(RFSS)に本質的に厳密な結びつきがあることの証明であり、これはRSS問題の変種であり、ある大きさのサブセットのみを求めるものであるが、これは独立した関心事である。
関連論文リスト
- Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。
次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
論文 参考訳（メタデータ） (2024-04-18T17:57:53Z) - Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。
これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。
CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
論文 参考訳（メタデータ） (2024-03-23T03:57:28Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation [11.38723572165938]
我々は、ロタリー・チケット仮説の理論的保証を、元のLTHとより類似したシナリオに拡張する。
ランダム初期重みに対する$varepsilon$-scale摂動を許容することにより、強いLTHにおける候補ネットワークの過剰パラメータ化要求を軽減できるだろうか?
予測されたSGDの摂動重みは,強いLTHプルーニング条件下での良好な性能を示すことを示す。
論文 参考訳（メタデータ） (2022-10-29T12:22:17Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳（メタデータ） (2021-11-02T05:02:24Z) - Optimal Lottery Tickets via SubsetSum: Logarithmic Over-Parameterization
is Sufficient [9.309655246559094]
幅$d$と深さ$l$の任意のターゲットネットワークは、幅$O(log(dl))$の2倍、幅$O(log(dl))$のランダムネットワークを切断することで近似できることを示す。
解析は、プルーニングランダムなReLUネットワークをtextscSubset問題のランダムなインスタンスに接続することに依存する。
論文 参考訳（メタデータ） (2020-06-14T19:32:10Z) - Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。
我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
論文 参考訳（メタデータ） (2020-02-03T07:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。