論文の概要: ThresholdNet: Pruning Tool for Densely Connected Convolutional Networks
- arxiv url: http://arxiv.org/abs/2108.12604v2
- Date: Tue, 31 Aug 2021 22:02:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 11:31:39.632401
- Title: ThresholdNet: Pruning Tool for Densely Connected Convolutional Networks
- Title（参考訳）: thresholdnet: 密結合畳み込みネットワークのためのプルーニングツール
- Authors: Rui-Yang Ju, Ting-Yu Lin, Jen-Shiun Chiang
- Abstract要約: メモリのしきい値電圧の原理に言及した新しいタイプのプルーニングツール「しきい値」を導入する。
この手法は、異なる深さのブロックを異なる方法で接続し、メモリ使用量を減らすために使用される。
実験によると、HarDNetはDenseNetの2倍の速さで、ThresholdNetはHarDNetよりも10%速く、エラー率は10%低い。
- 参考スコア（独自算出の注目度）: 2.267411144256508
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep neural networks have made significant progress in the field of computer
vision. Recent studies have shown that depth, width and shortcut connections of
neural network architectures play a crucial role in their performance. One of
the most advanced neural network architectures, DenseNet, has achieved
excellent convergence rates through dense connections. However, it still has
obvious shortcomings in the usage of amount of memory. In this paper, we
introduce a new type of pruning tool, threshold, which refers to the principle
of the threshold voltage in MOSFET. This work employs this method to connect
blocks of different depths in different ways to reduce the usage of memory. It
is denoted as ThresholdNet. We evaluate ThresholdNet and other different
networks on datasets of CIFAR10. Experiments show that HarDNet is twice as fast
as DenseNet, and on this basis, ThresholdNet is 10% faster and 10% lower error
rate than HarDNet.
- Abstract（参考訳）: ディープニューラルネットワークはコンピュータビジョンの分野で大きな進歩を遂げている。
近年の研究では、ニューラルネットワークアーキテクチャの深さ、幅、ショートカット接続が、その性能において重要な役割を果たすことが示されている。
最も先進的なニューラルネットワークアーキテクチャのひとつであるDenseNetは、高密度接続による優れた収束率を達成した。
しかし、メモリ使用量にはまだ明らかな欠点がある。
本稿では,MOSFETにおけるしきい値電圧の原理を参考に,新しいタイプのプルーニングツール「しきい値」を提案する。
この手法は、異なる深さのブロックを異なる方法で接続し、メモリの使用を減らすために使用される。
ThresholdNetと表記される。
我々は、CIFAR10のデータセット上でThresholdNetや他の異なるネットワークを評価する。
実験によると、HarDNetはDenseNetの2倍の速さで、ThresholdNetはHarDNetよりも10%速く、エラー率は10%低い。
関連論文リスト
- TripleNet: A Low Computing Power Platform of Low-Parameter Network [1.2542322096299672]
TripleNetは、HarDNetとThreshNetをベースにした改良された畳み込みニューラルネットワークである。
HarDNetと比較して、TripleNetのパラメータは66%削減され、精度は18%向上した。
論文 参考訳（メタデータ） (2022-04-02T21:55:00Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - ThreshNet: An Efficient DenseNet using Threshold Mechanism to Reduce
Connections [1.2542322096299672]
本稿では,接続の方法をさらに最適化するためのしきい値機構を用いた新しいネットワークアーキテクチャを提案する。
ThreshNetは、DenseNetと比較して最大60%の推論時間を短縮し、トレーニング速度を最大35%高速化し、エラー率を20%削減する。
論文 参考訳（メタデータ） (2022-01-09T13:52:16Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2021-05-29T04:02:51Z) - Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。
本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
論文 参考訳（メタデータ） (2020-10-28T08:49:45Z) - ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
本稿では、それらを解析するために高密度和の統一的な視点を示す。
本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。
提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
論文 参考訳（メタデータ） (2020-10-23T16:00:15Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - DRU-net: An Efficient Deep Convolutional Neural Network for Medical
Image Segmentation [2.3574651879602215]
残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。
両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-28T12:16:24Z) - Knapsack Pruning with Inner Distillation [11.04321604965426]
そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。
ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。
提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
論文 参考訳（メタデータ） (2020-02-19T16:04:48Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。