論文の概要: Training Sparse Neural Networks using Compressed Sensing
- arxiv url: http://arxiv.org/abs/2008.09661v2
- Date: Wed, 7 Apr 2021 04:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 21:54:03.534073
- Title: Training Sparse Neural Networks using Compressed Sensing
- Title（参考訳）: 圧縮センシングを用いたスパースニューラルネットワークの訓練
- Authors: Jonathan W. Siegel, Jianhong Chen, Pengchuan Zhang, Jinchao Xu
- Abstract要約: 本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
- 参考スコア（独自算出の注目度）: 13.84396596420605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning the weights of neural networks is an effective and widely-used
technique for reducing model size and inference complexity. We develop and test
a novel method based on compressed sensing which combines the pruning and
training into a single step. Specifically, we utilize an adaptively weighted
$\ell^1$ penalty on the weights during training, which we combine with a
generalization of the regularized dual averaging (RDA) algorithm in order to
train sparse neural networks. The adaptive weighting we introduce corresponds
to a novel regularizer based on the logarithm of the absolute value of the
weights. We perform a series of ablation studies demonstrating the improvement
provided by the adaptive weighting and generalized RDA algorithm. Furthermore,
numerical experiments on the CIFAR-10, CIFAR-100, and ImageNet datasets
demonstrate that our method 1) trains sparser, more accurate networks than
existing state-of-the-art methods; 2) can be used to train sparse networks from
scratch, i.e. from a random initialization, as opposed to initializing with a
well-trained base model; 3) acts as an effective regularizer, improving
generalization accuracy.
- Abstract（参考訳）: ニューラルネットワークの重み付けは、モデルのサイズと推論の複雑さを減らすための効果的で広く使われているテクニックである。
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$\ell^1$のペナルティを用いて、スパースニューラルネットワークをトレーニングするために正規化二重平均化アルゴリズム(RDA)の一般化と組み合わせる。
導入した適応重み付けは、重みの絶対値の対数に基づく新しい正則化器に対応する。
本稿では,適応重み付けと一般化rdaアルゴリズムによる改善を示す一連のアブレーション研究を行う。
さらに、CIFAR-10, CIFAR-100, ImageNetデータセットの数値実験により、我々の手法が実証された。
1) 既存の最先端の方法よりもスペーサーで正確なネットワーク
2) よく訓練されたベースモデルによる初期化とは対照的に、ランダム初期化から、スパースネットワークをスクラッチからトレーニングするために使用できる。
3) 有効正則化器として機能し, 一般化精度を向上させる。
関連論文リスト
- Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-06-29T14:52:04Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。
学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文 参考訳（メタデータ） (2020-07-25T13:23:37Z) - Training highly effective connectivities within neural networks with
randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。
重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文 参考訳（メタデータ） (2020-06-30T09:41:18Z) - Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。
私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
論文 参考訳（メタデータ） (2020-06-08T08:17:32Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z) - A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。
画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文 参考訳（メタデータ） (2020-04-15T17:52:48Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳（メタデータ） (2020-02-19T16:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。