論文の概要: DropNet: Reducing Neural Network Complexity via Iterative Pruning
- arxiv url: http://arxiv.org/abs/2207.06646v1
- Date: Thu, 14 Jul 2022 03:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-16 04:57:41.201365
- Title: DropNet: Reducing Neural Network Complexity via Iterative Pruning
- Title（参考訳）: DropNet:イテレーティブ・プルーニングによるニューラルネットワークの複雑さ低減
- Authors: John Tan Chong Min, Mehul Motani
- Abstract要約: ディープニューラルネットワークは、トレーニングとデプロイに相当量のコンピューティング時間と電力を必要とする。
そこで我々は,ネットワークの複雑さを軽減するためにノード/フィルタをプーンする反復的プルーニング手法DropNetを提案する。
- 参考スコア（独自算出の注目度）: 29.519376857728325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern deep neural networks require a significant amount of computing time
and power to train and deploy, which limits their usage on edge devices.
Inspired by the iterative weight pruning in the Lottery Ticket Hypothesis, we
propose DropNet, an iterative pruning method which prunes nodes/filters to
reduce network complexity. DropNet iteratively removes nodes/filters with the
lowest average post-activation value across all training samples. Empirically,
we show that DropNet is robust across diverse scenarios, including MLPs and
CNNs using the MNIST, CIFAR-10 and Tiny ImageNet datasets. We show that up to
90% of the nodes/filters can be removed without any significant loss of
accuracy. The final pruned network performs well even with reinitialization of
the weights and biases. DropNet also has similar accuracy to an oracle which
greedily removes nodes/filters one at a time to minimise training loss,
highlighting its effectiveness.
- Abstract（参考訳）: 現代のディープニューラルネットワークは、トレーニングとデプロイにかなりの計算時間とパワーを必要とし、エッジデバイスの使用を制限している。
Lottery Ticket仮説の反復的な重み付けにインスパイアされたDropNetは、ネットワークの複雑さを軽減するためにノード/フィルタをプーンする反復的プルーニング手法である。
DropNetは、すべてのトレーニングサンプルで最低平均のポストアクティベーション値のノード/フィルタを反復的に削除する。
実証的に、DropNetは、MNIST、CIFAR-10、Tiny ImageNetデータセットを使用したMLPやCNNなど、さまざまなシナリオで堅牢であることを示す。
最大90%のノード/フィルタを、精度を著しく損なうことなく取り除くことができることを示す。
最後の刈り取り網は、重みとバイアスを再初期化してもうまく機能する。
dropnetは、トレーニング損失を最小限にするため、ノード/フィルタを一度に削除し、その効果を強調する、oracleと同じような精度を持つ。
関連論文リスト
- Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - ThresholdNet: Pruning Tool for Densely Connected Convolutional Networks [2.267411144256508]
メモリのしきい値電圧の原理に言及した新しいタイプのプルーニングツール「しきい値」を導入する。
この手法は、異なる深さのブロックを異なる方法で接続し、メモリ使用量を減らすために使用される。
実験によると、HarDNetはDenseNetの2倍の速さで、ThresholdNetはHarDNetよりも10%速く、エラー率は10%低い。
論文 参考訳（メタデータ） (2021-08-28T08:48:31Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2021-05-29T04:02:51Z) - Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls
for Network Pruning [73.79377854107514]
カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。
我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。
重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
論文 参考訳（メタデータ） (2021-03-19T04:41:40Z) - Deep Model Compression based on the Training History [13.916984628784768]
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
論文 参考訳（メタデータ） (2021-01-30T06:04:21Z) - Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。
本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
論文 参考訳（メタデータ） (2020-10-28T08:49:45Z) - EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for
Edge Devices by Network Candidate Search [13.467017642143583]
本稿では,資源使用量と性能のトレードオフを研究するために,ネットワーク候補探索(NCS)を提案する。
実験では,EfficientNet-B0から候補CNNモデルを収集し,幅,深さ,入力解像度,複合スケールダウンなど,様々な方法でスケールダウンする。
Application-Specific Integrated Circuit (ASIC)でCNNエッジアプリケーションをさらに採用するために、EfficientNet-eLiteのアーキテクチャを調整し、よりハードウェアフレンドリなバージョンであるEfficientNet-HFを構築します。
論文 参考訳（メタデータ） (2020-09-16T01:11:10Z) - Add a SideNet to your MainNet [0.0]
そこで我々は、SideNetと呼ぶ小さな分類層をMainNetと呼ぶ大規模な事前学習ネットワークにアタッチすることで、適応的なネットワーク複雑性を実現する手法を開発した。
入力が与えられた場合、SideNetは、その信頼性レベルがユーザ決定しきい値を超え、信頼度が低すぎる場合にのみ大きなMainNetに渡す。
実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
論文 参考訳（メタデータ） (2020-07-14T19:25:32Z) - Pruning CNN's with linear filter ensembles [0.0]
ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。
本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。
我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
論文 参考訳（メタデータ） (2020-01-22T16:52:06Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳（メタデータ） (2020-01-15T03:18:57Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。