論文の概要: Drastically Reducing the Number of Trainable Parameters in Deep CNNs by
Inter-layer Kernel-sharing
- arxiv url: http://arxiv.org/abs/2210.14151v1
- Date: Sun, 23 Oct 2022 18:14:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:11:41.307206
- Title: Drastically Reducing the Number of Trainable Parameters in Deep CNNs by
Inter-layer Kernel-sharing
- Title（参考訳）: 層間カーネル共有による深部CNNの学習パラメータの大幅な削減
- Authors: Alireza Azadbakht, Saeed Reza Kheradpisheh, Ismail Khalfaoui-Hassani,
Timoth\'ee Masquelier
- Abstract要約: ディープ畳み込みニューラルネットワーク(DCNN)は多くのコンピュータビジョンタスクの最先端(SOTA)アプローチとなっている。
ここでは、トレーニング可能なパラメータの数とメモリフットプリントを削減し、複数の畳み込み層間でカーネルを共有する簡単な方法を提案する。
- 参考スコア（独自算出の注目度）: 0.4129225533930965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep convolutional neural networks (DCNNs) have become the state-of-the-art
(SOTA) approach for many computer vision tasks: image classification, object
detection, semantic segmentation, etc. However, most SOTA networks are too
large for edge computing. Here, we suggest a simple way to reduce the number of
trainable parameters and thus the memory footprint: sharing kernels between
multiple convolutional layers. Kernel-sharing is only possible between
``isomorphic" layers, i.e.layers having the same kernel size, input and output
channels. This is typically the case inside each stage of a DCNN. Our
experiments on CIFAR-10 and CIFAR-100, using the ConvMixer and SE-ResNet
architectures show that the number of parameters of these models can
drastically be reduced with minimal cost on accuracy. The resulting networks
are appealing for certain edge computing applications that are subject to
severe memory constraints, and even more interesting if leveraging "frozen
weights" hardware accelerators. Kernel-sharing is also an efficient
regularization method, which can reduce overfitting. The codes are publicly
available at https://github.com/AlirezaAzadbakht/kernel-sharing.
- Abstract（参考訳）: ディープ畳み込みニューラルネットワーク(DCNN)は、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、多くのコンピュータビジョンタスクのための最先端(SOTA)アプローチとなっている。
しかし、ほとんどのSOTAネットワークはエッジコンピューティングには大きすぎる。
ここでは、トレーニング可能なパラメータの数とメモリフットプリントを削減し、複数の畳み込み層間でカーネルを共有する簡単な方法を提案する。
Kernel-sharing is only possible between ``isomorphic" layers, i.e.layers having the same kernel size, input and output channels. This is typically the case inside each stage of a DCNN. Our experiments on CIFAR-10 and CIFAR-100, using the ConvMixer and SE-ResNet architectures show that the number of parameters of these models can drastically be reduced with minimal cost on accuracy. The resulting networks are appealing for certain edge computing applications that are subject to severe memory constraints, and even more interesting if leveraging "frozen weights" hardware accelerators.
カーネル共有は効率の良い正規化手法であり、オーバーフィッティングを減らすことができる。
コードはhttps://github.com/AlirezaAzadbakht/カーネル共有で公開されている。
関連論文リスト
- Convolutional Deep Kernel Machines [25.958907308877148]
最近の研究は、表現学習を維持するためにベイズニューラルネットワークのNNGP(Neural Network Gaussian Process)制限を変更している。
この修正された制限をディープ・ガウス・プロセスに適用すると、ディープ・カーネル・マシン(DKM)と呼ばれる実用的な学習アルゴリズムが得られる。
論文 参考訳（メタデータ） (2023-09-18T14:36:17Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。
実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
論文 参考訳（メタデータ） (2022-02-06T03:56:19Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - Fast and High-Quality Image Denoising via Malleable Convolutions [72.18723834537494]
動的畳み込みの効率的な変種として、Malleable Convolution (MalleConv)を提案する。
以前の作品とは異なり、MalleConvは入力から空間的に変化するカーネルのより小さなセットを生成する。
また、MalleNetという造語であるMalleConvを用いて、効率的なdenoisingネットワークを構築した。
論文 参考訳（メタデータ） (2022-01-02T18:35:20Z) - FlexConv: Continuous Kernel Convolutions with Differentiable Kernel
Sizes [34.90912459206022]
最近の研究によると、CNNは異なるレイヤの異なるカーネルサイズから恩恵を受けているが、実際にはすべての可能な組み合わせを探索することは不可能である。
本稿では,学習可能なカーネルサイズの高い帯域幅の畳み込みカーネルを固定パラメータコストで学習可能な新しい畳み込み演算FlexConvを提案する。
論文 参考訳（メタデータ） (2021-10-15T12:35:49Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z) - Learning Sparse & Ternary Neural Networks with Entropy-Constrained
Trained Ternarization (EC2T) [17.13246260883765]
ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。
近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。
本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
論文 参考訳（メタデータ） (2020-04-02T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。