論文の概要: Structured vs. Unstructured Pruning: An Exponential Gap
- arxiv url: http://arxiv.org/abs/2603.02234v2
- Date: Wed, 04 Mar 2026 08:56:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:08.100344
- Title: Structured vs. Unstructured Pruning: An Exponential Gap
- Title（参考訳）: 構造的対非構造的プルーニング:指数的ギャップ
- Authors: Davide Ferre', Frédéric Giroire, Frederik Mallmann-Trenn, Emanuele Natale,
- Abstract要約: ランダムにバイアスのない2層ReLUネットワークを用いて1つのバイアスのないReLUニューロンを近似する問題について検討する。
ニューロンのプルーニングには、ターゲットのReLUニューロンに$(d/varepsilon)$隠されたニューロンの開始ネットワークが必要であることを示す。
- 参考スコア（独自算出の注目度）: 7.354394320088788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Strong Lottery Ticket Hypothesis (SLTH) posits that large, randomly initialized neural networks contain sparse subnetworks capable of approximating a target function at initialization without training, suggesting that pruning alone is sufficient. Pruning methods are typically classified as unstructured, where individual weights can be removed from the network, and structured, where parameters are removed according to specific patterns, as in neuron pruning. Existing theoretical results supporting the SLTH rely almost exclusively on unstructured pruning, showing that logarithmic overparameterization suffices to approximate simple target networks. In contrast, neuron pruning has received limited theoretical attention. In this work, we consider the problem of approximating a single bias-free ReLU neuron using a randomly initialized bias-free two-layer ReLU network, thereby isolating the intrinsic limitations of neuron pruning. We show that neuron pruning requires a starting network with $Ω(d/\varepsilon)$ hidden neurons to $\varepsilon$-approximate a target ReLU neuron. In contrast, weight pruning achieves $\varepsilon$-approximation with only $O(d\log(1/\varepsilon))$ neurons, establishing an exponential separation between the two pruning paradigms.
- Abstract（参考訳）: SLTH(Strong Lottery Ticket hypothesis)は、大規模でランダムに初期化されたニューラルネットワークには、トレーニングなしで初期化時にターゲット関数を近似できるスパースサブネットが含まれており、プルーニングだけで十分であることを示唆している。
プルーニング法は通常、ネットワークから個々の重みを除去できる非構造的(unstructured)に分類され、神経プルーニングのように特定のパターンに従ってパラメータを除去する構造的(ructured)に分類される。
SLTHを支持する既存の理論的結果は、ほとんど非構造的プルーニングに依存しており、対数的過パラメータ化が単純なターゲットネットワークを近似するのに十分であることを示している。
対照的に、ニューロンのプルーニングは理論的な注目を集めている。
本研究では、ランダムに初期化されたバイアスフリーの2層ReLUネットワークを用いて、単一バイアスフリーのReLUニューロンを近似することで、ニューロンプルーニングの本質的な制限を分離する問題を考察する。
ニューロンのプルーニングには、ターゲットのReLUニューロンを$\varepsilon$-approximateに隠されたニューロンに$Ω(d/\varepsilon)$の開始ネットワークが必要であることを示す。
対照的に、ウェイトプルーニングは$O(d\log(1/\varepsilon))$ニューロンで$\varepsilon$-approximationを達成し、2つのプルーニングパラダイムの指数的分離を確立する。
関連論文リスト
- Training-Free Restoration of Pruned Neural Networks [7.317046947172644]
本研究では,より厳密で頑健なネットワーク復元手法を提案する。
提案手法は,元のネットワークと近似との再構成誤差の定式化に関する理論的解析に基づく。
論文 参考訳（メタデータ） (2025-02-06T05:30:48Z) - Cluster-based classification with neural ODEs via control [0.0]
パラメータを時間的一貫した関数として固定した単一ニューロンアーキテクチャを考える。
以前の研究では、$O(N)$スイッチを必要とするポイントバイポイント戦略を用いて分類が可能であることが示されている。
本稿では,任意のデータセットを$d$ポイントのクラスタを逐次ステアリングすることで,任意のデータセットを分類する新しい制御手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T12:56:40Z) - Universal approximation property of Banach space-valued random feature models including random neural networks [3.3379026542599934]
ランダムな特徴学習におけるバナッハ空間値の拡張を提案する。
特徴マップをランダムに初期化することにより、線形読み出しのみをトレーニングする必要がある。
我々は、与えられたバナッハ空間の要素を学ぶための近似率と明示的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2023-12-13T11:27:15Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Receding Neuron Importances for Structured Pruning [11.375436522599133]
構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。
境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。
我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
論文 参考訳（メタデータ） (2022-04-13T14:08:27Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。