論文の概要: Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection
- arxiv url: http://arxiv.org/abs/2003.01794v3
- Date: Mon, 19 Oct 2020 05:35:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 22:06:50.312680
- Title: Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection
- Title(参考訳): 優れたサブネットワークが存在する - グリーディフォワードセレクションによるpruning
- Authors: Mao Ye, Chengyue Gong, Lizhen Nie, Denny Zhou, Adam Klivans, and Qiang
Liu
- Abstract要約: 本稿では,ディープニューラルネットワークにおけるグッドワークを見つけるための,単純な欲求選択手法を提案する。
十分に大きな事前訓練ネットワークに欲求選択戦略を適用することで、勾配降下で直接訓練されたネットワークよりも損失の少ないスモールワークを見つけることが保証される。
- 参考スコア(独自算出の注目度): 35.121856435677564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent empirical works show that large deep neural networks are often highly
redundant and one can find much smaller subnetworks without a significant drop
of accuracy. However, most existing methods of network pruning are empirical
and heuristic, leaving it open whether good subnetworks provably exist, how to
find them efficiently, and if network pruning can be provably better than
direct training using gradient descent. We answer these problems positively by
proposing a simple greedy selection approach for finding good subnetworks,
which starts from an empty network and greedily adds important neurons from the
large network. This differs from the existing methods based on backward
elimination, which remove redundant neurons from the large network.
Theoretically, applying the greedy selection strategy on sufficiently large
{pre-trained} networks guarantees to find small subnetworks with lower loss
than networks directly trained with gradient descent. Our results also apply to
pruning randomly weighted networks. Practically, we improve prior arts of
network pruning on learning compact neural architectures on ImageNet, including
ResNet, MobilenetV2/V3, and ProxylessNet. Our theory and empirical results on
MobileNet suggest that we should fine-tune the pruned subnetworks to leverage
the information from the large model, instead of re-training from new random
initialization as suggested in \citet{liu2018rethinking}.
- Abstract(参考訳): 最近の実証研究は、大きなディープニューラルネットワークがしばしば非常に冗長であり、かなりの精度の低下なしにはるかに小さなサブネットワークを見つけることができることを示している。
しかし、既存のネットワークプルーニングの方法の多くは経験的かつヒューリスティックであり、良いサブネットワークが存在するかどうか、それらを効率的に見つける方法、そして、ネットワークプルーニングが勾配降下を用いた直接トレーニングよりも証明可能なものであるかどうかが明確である。
我々は、空ネットワークから始まり、大規模ネットワークから重要なニューロンを追加する優れたサブネットワークを見つけるための単純な欲望選択アプローチを提案することで、これらの問題に肯定的に答える。
これは、大きなネットワークから冗長ニューロンを除去する後方除去に基づく既存の方法とは異なる。
理論的には、十分に大きな事前訓練されたネットワークに欲求選択戦略を適用することで、勾配勾配で直接訓練されたネットワークよりも損失の少ない小さなサブネットを見つけることが保証される。
実験結果は,ランダム重み付けネットワークの刈り込みにも応用できる。
実際に、resnet、mobilenetv2/v3、proxylessnetなど、imagenet上のコンパクトニューラルネットワークを学習するネットワークプラニングの先行技術を改善する。
MobileNet 上での我々の理論と実証結果は,提案するような新しいランダム初期化から再学習する代わりに,大規模モデルからの情報を活用するために,刈り取ったサブネットを微調整するべきだことを示唆している。
関連論文リスト
- Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。
アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。
我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文 参考訳(メタデータ) (2024-03-21T08:30:44Z) - You Can Have Better Graph Neural Networks by Not Training Weights at
All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。
得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。
また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文 参考訳(メタデータ) (2022-11-28T14:17:36Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T17:49:08Z) - Extracting Effective Subnetworks with Gumebel-Softmax [9.176056742068813]
我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。
本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。
結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
論文 参考訳(メタデータ) (2022-02-25T21:31:30Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳(メタデータ) (2022-02-05T21:19:41Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳(メタデータ) (2021-02-17T04:47:18Z) - Greedy Optimization Provably Wins the Lottery: Logarithmic Number of
Winning Tickets is Enough [19.19644194006565]
精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。
提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。
本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
論文 参考訳(メタデータ) (2020-10-29T22:06:31Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Network Pruning via Annealing and Direct Sparsity Control [4.976007156860966]
本稿では,非構造的および構造的チャネルレベルのプルーニングに適した,新しい効率的なネットワークプルーニング手法を提案する。
提案手法は, 基準とスケジュールに基づいて, ネットワークパラメータやフィルタチャネルを徐々に除去することにより, 空間制約を緩和する。
論文 参考訳(メタデータ) (2020-02-11T10:51:12Z) - A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。
我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。
提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
論文 参考訳(メタデータ) (2020-01-15T20:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。