論文の概要: Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks
- arxiv url: http://arxiv.org/abs/2102.00554v1
- Date: Sun, 31 Jan 2021 22:48:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:51:05.069217
- Title: Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks
- Title（参考訳）: ディープラーニングにおけるスパーシティ:ニューラルネットワークの効率的な推論とトレーニングのための刈り込みと成長
- Authors: Torsten Hoefler, Dan Alistarh, Tal Ben-Nun, Nikoli Dryden, Alexandra
Peste
- Abstract要約: Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
- 参考スコア（独自算出の注目度）: 78.47459801017959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing energy and performance costs of deep learning have driven the
community to reduce the size of neural networks by selectively pruning
components. Similarly to their biological counterparts, sparse networks
generalize just as well, if not better than, the original dense networks.
Sparsity can reduce the memory footprint of regular networks to fit mobile
devices, as well as shorten training time for ever growing networks. In this
paper, we survey prior work on sparsity in deep learning and provide an
extensive tutorial of sparsification for both inference and training. We
describe approaches to remove and add elements of neural networks, different
training strategies to achieve model sparsity, and mechanisms to exploit
sparsity in practice. Our work distills ideas from more than 300 research
papers and provides guidance to practitioners who wish to utilize sparsity
today, as well as to researchers whose goal is to push the frontier forward. We
include the necessary background on mathematical methods in sparsification,
describe phenomena such as early structure adaptation, the intricate relations
between sparsity and the training process, and show techniques for achieving
acceleration on real hardware. We also define a metric of pruned parameter
efficiency that could serve as a baseline for comparison of different sparse
networks. We close by speculating on how sparsity can improve future workloads
and outline major open problems in the field.
- Abstract（参考訳）: ディープラーニングのエネルギとパフォーマンスのコストの増大は、選択的にコンポーネントを刈り取ることによって、ニューラルネットワークのサイズを削減した。
生物学的なネットワークと同様に、スパースネットワークはオリジナルの高密度ネットワークと同等に一般化する。
sparsityは、モバイルデバイスに適合する通常のネットワークのメモリフットプリントを削減し、成長を続けるネットワークのトレーニング時間を短縮できる。
本稿では,ディープラーニングにおけるスパーシリティに関する先行研究を調査し,推論とトレーニングの両方においてスパーシフィケーションの広範なチュートリアルを提供する。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
われわれの研究は300以上の研究論文からアイデアを抽出し、現在空き地を利用したい実践者や、フロンティアを前進させることを目標とする研究者にガイダンスを提供する。
本稿では,スパーシフィケーションにおける数学的手法の背景,早期構造適応,疎度とトレーニングプロセスの複雑な関係などの現象を記述し,実際のハードウェア上で加速を達成するための技術を示す。
また、異なるスパースネットワークの比較のベースラインとして機能するprunedパラメータ効率のメトリックを定義します。
sparsityが将来のワークロードをどのように改善できるかを推測し、この分野の主要なオープン問題を概説することで締めくくった。
関連論文リスト
- Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。
我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。
我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
論文 参考訳（メタデータ） (2023-06-20T21:30:54Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - Training Larger Networks for Deep Reinforcement Learning [18.193180866998333]
ネットワーク容量の増加は性能を向上しないことを示す。
本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。
この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-02-16T02:16:54Z) - HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。
提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。
トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文 参考訳（メタデータ） (2020-08-24T04:08:48Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Layer Sparsity in Neural Networks [7.436953928903182]
ニューラルネットワークの枠組みにおける空間性について論じる。
特に、ネットワークの層に関する空間性という新しい概念を定式化します。
よりコンパクトで正確なネットワークを生成するために、対応する正規化と再構成方式を導入する。
論文 参考訳（メタデータ） (2020-06-28T13:41:59Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文 参考訳（メタデータ） (2019-10-08T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。