論文の概要: Efficient CNN Architecture Design Guided by Visualization
- arxiv url: http://arxiv.org/abs/2207.10318v1
- Date: Thu, 21 Jul 2022 06:22:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:01:59.496414
- Title: Efficient CNN Architecture Design Guided by Visualization
- Title（参考訳）: 可視化による効率的なCNNアーキテクチャ設計
- Authors: Liangqi Zhang, Haibo Shen, Yihao Luo, Xiang Cao, Leixilan Pan,
Tianjiang Wang, Qi Feng
- Abstract要約: VGNetG-1.0MPは0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%である。
我々のVGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
- 参考スコア（独自算出の注目度）: 13.074652653088584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern efficient Convolutional Neural Networks(CNNs) always use Depthwise
Separable Convolutions(DSCs) and Neural Architecture Search(NAS) to reduce the
number of parameters and the computational complexity. But some inherent
characteristics of networks are overlooked. Inspired by visualizing feature
maps and N$\times$N(N$>$1) convolution kernels, several guidelines are
introduced in this paper to further improve parameter efficiency and inference
speed. Based on these guidelines, our parameter-efficient CNN architecture,
called \textit{VGNetG}, achieves better accuracy and lower latency than
previous networks with about 30%$\thicksim$50% parameters reduction. Our
VGNetG-1.0MP achieves 67.7% top-1 accuracy with 0.99M parameters and 69.2%
top-1 accuracy with 1.14M parameters on ImageNet classification dataset.
Furthermore, we demonstrate that edge detectors can replace learnable
depthwise convolution layers to mix features by replacing the N$\times$N
kernels with fixed edge detection kernels. And our VGNetF-1.5MP archives
64.4%(-3.2%) top-1 accuracy and 66.2%(-1.4%) top-1 accuracy with additional
Gaussian kernels.
- Abstract（参考訳）: 現代の効率的な畳み込みニューラルネットワーク(CNN)は、パラメータの数と計算複雑性を減らすために、常にDepthwise Separable Convolutions(DSC)とNeural Architecture Search(NAS)を使用している。
しかし、ネットワーク固有の特性は見過ごされている。
機能マップとn$\times$n(n$>$1)畳み込みカーネルの可視化に着想を得て,パラメータ効率と推論速度をさらに向上するためのガイドラインをいくつか紹介した。
これらのガイドラインに基づき、パラメータ効率のよいCNNアーキテクチャである \textit{VGNetG} は、約30%$\thicksim$50%のパラメータ削減で、従来のネットワークよりも精度とレイテンシを向上する。
我々のVGNetG-1.0MPは、0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%のTop-1精度を達成した。
さらに,n$\times$nカーネルを固定エッジ検出カーネルに置き換えることで,学習可能な奥行き方向畳み込み層を置き換え,特徴を混合できることを実証した。
VGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
関連論文リスト
- KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。
我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-12T05:16:26Z) - Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Precision Gating: Improving Neural Network Efficiency with Dynamic
Dual-Precision Activations [22.71924873981158]
PG(Precision Gating)は、ディープニューラルネットワークのためのエンドツーエンドのトレーニング可能な動的二重精度量子化技術である。
PGは、ShuffleNetのような静的に圧縮されたモバイルフレンドリーなネットワークを含むCNNで優れた結果を得る。
8ビットの均一量子化と比較すると、PGは1ワードあたりのパープレキシティが1.2%向上し、LSTMの計算コストは2.7$timesである。
論文 参考訳（メタデータ） (2020-02-17T18:54:37Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。
周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
論文 参考訳（メタデータ） (2020-01-29T07:10:56Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。