論文の概要: FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity
- arxiv url: http://arxiv.org/abs/2106.14568v1
- Date: Mon, 28 Jun 2021 10:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 13:54:57.670929
- Title: FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity
- Title（参考訳）: FreeTickets: ダイナミックスペーシングによるトレーニングによる高精度,ロバスト,効率的なディープアンサンブル
- Authors: Shiwei Liu, Tianlong Chen, Zahra Atashgahi, Xiaohan Chen, Ghada Sokar,
Elena Mocanu, Mykola Pechenizkiy, Zhangyang Wang, Decebal Constantin Mocanu
- Abstract要約: 我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
- 参考スコア（独自算出の注目度）: 74.58777701536668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works on sparse neural networks have demonstrated that it is possible
to train a sparse network in isolation to match the performance of the
corresponding dense networks with a fraction of parameters. However, the
identification of these performant sparse neural networks (winning tickets)
either involves a costly iterative train-prune-retrain process (e.g., Lottery
Ticket Hypothesis) or an over-extended sparse training time (e.g., Training
with Dynamic Sparsity), both of which would raise financial and environmental
concerns. In this work, we attempt to address this cost-reducing problem by
introducing the FreeTickets concept, as the first solution which can boost the
performance of sparse convolutional neural networks over their dense network
equivalents by a large margin, while using for complete training only a
fraction of the computational resources required by the latter. Concretely, we
instantiate the FreeTickets concept, by proposing two novel efficient ensemble
methods with dynamic sparsity, which yield in one shot many diverse and
accurate tickets "for free" during the sparse training process. The combination
of these free tickets into an ensemble demonstrates a significant improvement
in accuracy, uncertainty estimation, robustness, and efficiency over the
corresponding dense (ensemble) networks. Our results provide new insights into
the strength of sparse neural networks and suggest that the benefits of
sparsity go way beyond the usual training/inference expected efficiency. We
will release all codes in https://github.com/Shiweiliuiiiiiii/FreeTickets.
- Abstract（参考訳）: スパースニューラルネットワークに関する最近の研究は、スパースネットワークを個別にトレーニングし、対応する高密度ネットワークの性能をパラメータ数で一致させることができることを示した。
しかしながら、これらのパフォーマンススパースニューラルネットワーク(勝者のチケット)の識別には、コストのかかる反復的な列車-プレーン-リトレインプロセス(例えば、ロッテリー・ティケット仮説)または過拡張スパーストレーニング時間(例えば、動的スパースネスによるトレーニング)が伴う。
本研究では,このコスト削減問題に対してfreeticketsの概念を導入することで,ニューラルネットワークの分散畳み込み性能を高利率に向上させる第1のソリューションである。
具体的には、動的なスパーシティを持つ2つの新しい効率的なアンサンブル手法を提案し、スパーストレーニングプロセス中に多くの多様で正確なチケットを「無料で」撮影することによって、freeticketsの概念をインスタンス化する。
これらのフリーチケットをアンサンブルに組み合わせることで、対応する高密度(アンサンブル)ネットワーク上での精度、不確実性の推定、ロバスト性、効率が大幅に向上した。
この結果から,スパースニューラルネットワークの強みに対する新たな洞察が得られ,スパーシティのメリットが通常のトレーニング/推論の予測効率を超えることが示唆された。
すべてのコードをhttps://github.com/Shiweiliuiiiiiii/FreeTicketsでリリースします。
関連論文リスト
- Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T08:16:31Z) - Superposing Many Tickets into One: A Performance Booster for Sparse
Neural Network Training [32.30355584300427]
本研究では,2つのデシラタを同時に1つのスパース・ツー・スパース・トレーニング・プロセスで満たすことのできる,新しいスパース・トレーニング・アプローチであるtextbfSup-tkets を提案する。
CIFAR-10/100 および ImageNet 上の様々なモダンアーキテクチャにおいて,Sup-tket が既存のスパーストレーニング手法とシームレスに統合されていることを示す。
論文 参考訳（メタデータ） (2022-05-30T16:01:32Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Truly Sparse Neural Networks at Scale [2.2860412844991655]
私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。
われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
論文 参考訳（メタデータ） (2021-02-02T20:06:47Z) - Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。
我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文 参考訳（メタデータ） (2021-01-22T10:45:40Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。