Fugu-MT 論文翻訳(概要): Picking Winning Tickets Before Training by Preserving Gradient Flow

論文の概要: Picking Winning Tickets Before Training by Preserving Gradient Flow

arxiv url: http://arxiv.org/abs/2002.07376v2
Date: Fri, 7 Aug 2020 00:02:33 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 18:56:50.345477
Title: Picking Winning Tickets Before Training by Preserving Gradient Flow
Title（参考訳）: グラディエントフローの保存によるトレーニング前のピッキングティケット
Authors: Chaoqi Wang, Guodong Zhang, Roger Grosse
Abstract要約: 効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
参考スコア（独自算出の注目度）: 9.67608102763644
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Overparameterization has been shown to benefit both the optimization and generalization of neural networks, but large networks are resource hungry at both training and test time. Network pruning can reduce test-time resource requirements, but is typically applied to trained networks and therefore cannot avoid the expensive training process. We aim to prune networks at initialization, thereby saving resources at training time as well. Specifically, we argue that efficient training requires preserving the gradient flow through the network. This leads to a simple but effective pruning criterion we term Gradient Signal Preservation (GraSP). We empirically investigate the effectiveness of the proposed method with extensive experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet and ImageNet, using VGGNet and ResNet architectures. Our method can prune 80% of the weights of a VGG-16 network on ImageNet at initialization, with only a 1.6% drop in top-1 accuracy. Moreover, our method achieves significantly better performance than the baseline at extreme sparsity levels.
Abstract（参考訳）: 過パラメータ化はニューラルネットワークの最適化と一般化の両方にメリットがあることが示されているが、大規模ネットワークはトレーニングとテスト時間の両方でリソースが不足している。ネットワークプルーニングは、テスト時間リソースの要求を低減できるが、訓練されたネットワークに適用されるため、高価なトレーニングプロセスを回避することはできない。ネットワークを初期化して、トレーニング時にリソースを節約することを目指しています。具体的には、効率的なトレーニングにはネットワーク内の勾配流の保存が必要であると論じる。これにより、Gradient Signal Preservation (GraSP) と呼ばれる単純だが効果的なプルーニング基準が導かれる。 VGGNetとResNetアーキテクチャを用いて,CIFAR-10,CIFAR-100,Tiny-ImageNet,ImageNetにおいて提案手法の有効性を実験的に検討した。本手法では初期化時のvgg-16ネットワークの重量の80%を削減でき,top-1の精度は1.6%低下する。さらに,本手法は,極端間隔レベルにおけるベースラインよりも高い性能を実現する。

関連論文リスト

UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
論文参考訳（メタデータ） (2024-05-29T06:53:18Z)
Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文参考訳（メタデータ） (2023-02-17T09:37:17Z)
Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文参考訳（メタデータ） (2022-06-26T00:37:33Z)
An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文参考訳（メタデータ） (2021-12-15T16:02:15Z)
BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文参考訳（メタデータ） (2021-05-21T18:54:03Z)
Improving the Speed and Quality of GAN by Adversarial Training [87.70013107142142]
我々は,GAN訓練の高速化と品質向上を目的としたFastGANを開発した。当社のトレーニングアルゴリズムは,2-4GPUを必要とすることによって,ImageNetのトレーニングを一般向けに提供しています。
論文参考訳（メタデータ） (2020-08-07T20:21:31Z)
Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文参考訳（メタデータ） (2020-07-01T23:34:35Z)
Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
深層ネットワークの重みを少なくするプルーニング技術が提案されている。本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
論文参考訳（メタデータ） (2020-03-05T18:05:17Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)
Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。