論文の概要: Polynomially Over-Parameterized Convolutional Neural Networks Contain
Structured Strong Winning Lottery Tickets
- arxiv url: http://arxiv.org/abs/2311.09858v1
- Date: Thu, 16 Nov 2023 12:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:03:15.093709
- Title: Polynomially Over-Parameterized Convolutional Neural Networks Contain
Structured Strong Winning Lottery Tickets
- Title（参考訳）: 強利得ティケット構造を有する多項性過パラメータ畳み込みニューラルネットワーク
- Authors: Arthur da Cunha, Francesco d'Amore, Emanuele Natale
- Abstract要約: 十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。
この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
- 参考スコア（独自算出の注目度）: 4.020829863982153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Strong Lottery Ticket Hypothesis (SLTH) states that randomly-initialised
neural networks likely contain subnetworks that perform well without any
training. Although unstructured pruning has been extensively studied in this
context, its structured counterpart, which can deliver significant
computational and memory efficiency gains, has been largely unexplored. One of
the main reasons for this gap is the limitations of the underlying mathematical
tools used in formal analyses of the SLTH. In this paper, we overcome these
limitations: we leverage recent advances in the multidimensional generalisation
of the Random Subset-Sum Problem and obtain a variant that admits the
stochastic dependencies that arise when addressing structured pruning in the
SLTH. We apply this result to prove, for a wide class of random Convolutional
Neural Networks, the existence of structured subnetworks that can approximate
any sufficiently smaller network.
This result provides the first sub-exponential bound around the SLTH for
structured pruning, opening up new avenues for further research on the
hypothesis and contributing to the understanding of the role of
over-parameterization in deep learning.
- Abstract（参考訳）: strong lottery ticket hypothesis (slth) では、ランダムに初期化されたニューラルネットワークには、トレーニングなしでうまく機能するサブネットワークが含まれている可能性がある。
非構造化プルーニングはこの文脈で広範囲に研究されてきたが、計算とメモリ効率の大幅な向上をもたらす構造的プルーニングは、ほとんど研究されていない。
このギャップの主な原因の1つは、SLTHの形式解析に使用される基礎となる数学的ツールの限界である。
本稿では, ランダム・サブセット・サム問題の多次元一般化における最近の進歩を活用し, SLTHにおける構造的プルーニングに対処する際に生じる確率的依存関係を認める変種を求める。
この結果は、幅広い種類のランダム畳み込みニューラルネットワークに対して、十分に小さなネットワークを近似できる構造化サブネットワークの存在を証明するために応用する。
この結果は、構造化プルーニングのためのSLTH周辺の最初の部分指数境界を提供し、仮説のさらなる研究のための新たな道を開き、深層学習における過度パラメータ化の役割の理解に寄与する。
関連論文リスト
- An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。
この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。
我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
論文 参考訳（メタデータ） (2023-12-06T09:52:18Z) - DANI: Fast Diffusion Aware Network Inference with Preserving Topological
Structure Property [2.8948274245812327]
そこで我々は,DANIと呼ばれる新しい手法を提案し,その構造特性を保ちながら基礎となるネットワークを推定する。
DANIは、モジュール構造、次数分布、連結成分、密度、クラスタリング係数を含む構造特性を維持しながら、より高い精度と低い実行時間を有する。
論文 参考訳（メタデータ） (2023-10-02T23:23:00Z) - Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking
Neural Network [30.924449325020767]
Lottery Ticket hypothesis (LTH) は、ランダムにdの大きいニューラルネットワークは小さなサブネットワークを含んでいると述べている。
LTHはプルーニングネットワークのための新しいパスを開く。
論文 参考訳（メタデータ） (2023-05-20T09:27:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Why Neural Networks Work [0.32228025627337864]
完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。
文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
論文 参考訳（メタデータ） (2022-11-26T18:15:17Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Learning from Randomly Initialized Neural Network Features [24.75062551820944]
ランダムニューラルネットワークが期待できる特徴抽出器として優れているという驚くべき結果を示す。
これらのランダムな特徴は、本質的に無限次元であるニューラルネットワーク優先カーネル(NNPK)と呼ばれるものの有限サンプル化に対応する。
論文 参考訳（メタデータ） (2022-02-13T23:35:11Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。