論文の概要: Compressing Deep Convolutional Neural Networks by Stacking
Low-dimensional Binary Convolution Filters
- arxiv url: http://arxiv.org/abs/2010.02778v1
- Date: Tue, 6 Oct 2020 14:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:53:04.315730
- Title: Compressing Deep Convolutional Neural Networks by Stacking
Low-dimensional Binary Convolution Filters
- Title（参考訳）: 低次元2値畳み込みフィルタによる深部畳み込みニューラルネットワークの圧縮
- Authors: Weichao Lan, Liang Lan
- Abstract要約: 深層畳み込みニューラルネットワーク(CNN)は多くの実生活問題に適用されている。
ディープCNNモデルの巨大なメモリコストは、メモリ制限されたデバイスにそれらをデプロイする上で大きな課題となる。
低次元バイナリ畳み込みフィルタを積み重ねて深部CNNモデルを圧縮する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 15.66437882635872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (CNN) have been successfully applied to
many real-life problems. However, the huge memory cost of deep CNN models poses
a great challenge of deploying them on memory-constrained devices (e.g., mobile
phones). One popular way to reduce the memory cost of deep CNN model is to
train binary CNN where the weights in convolution filters are either 1 or -1
and therefore each weight can be efficiently stored using a single bit.
However, the compression ratio of existing binary CNN models is upper bounded
by around 32. To address this limitation, we propose a novel method to compress
deep CNN model by stacking low-dimensional binary convolution filters. Our
proposed method approximates a standard convolution filter by selecting and
stacking filters from a set of low-dimensional binary convolution filters. This
set of low-dimensional binary convolution filters is shared across all filters
for a given convolution layer. Therefore, our method will achieve much larger
compression ratio than binary CNN models. In order to train our proposed model,
we have theoretically shown that our proposed model is equivalent to select and
stack intermediate feature maps generated by low-dimensional binary filters.
Therefore, our proposed model can be efficiently trained using the
split-transform-merge strategy. We also provide detailed analysis of the memory
and computation cost of our model in model inference. We compared the proposed
method with other five popular model compression techniques on two benchmark
datasets. Our experimental results have demonstrated that our proposed method
achieves much higher compression ratio than existing methods while maintains
comparable accuracy.
- Abstract（参考訳）: 深層畳み込みニューラルネットワーク(CNN)は多くの実生活問題に適用されている。
しかし、深層CNNモデルの膨大なメモリコストは、メモリ制限されたデバイス(携帯電話など)にそれらをデプロイする際の大きな課題となる。
ディープCNNモデルのメモリコストを下げるための一般的な方法の1つは、畳み込みフィルタの重みが1または-1であるバイナリCNNを訓練することである。
しかし、既存のバイナリCNNモデルの圧縮比は、約32で上界となる。
そこで本研究では,低次元2次畳み込みフィルタを積み重ねることで,深層cnnモデルを圧縮する新しい手法を提案する。
提案手法は,低次元バイナリ畳み込みフィルタの集合からフィルタを選択し,重ね合わせることで,標準畳み込みフィルタを近似する。
この低次元バイナリ畳み込みフィルタのセットは、与えられた畳み込み層に対してすべてのフィルタで共有される。
したがって,本手法はバイナリcnnモデルよりもはるかに大きな圧縮率を実現する。
提案モデルの学習のために,提案モデルが低次元バイナリフィルタにより生成された中間特徴写像の選択とスタックに等価であることを示す。
したがって,提案モデルは分割-変換-マージ戦略を用いて効率的に訓練することができる。
また、モデル推論におけるモデルのメモリおよび計算コストの詳細な分析も行います。
提案手法を2つのベンチマークデータセット上で,他の5つの一般的なモデル圧縮手法と比較した。
実験の結果,提案手法は既存の手法よりも圧縮率が高く,精度は同等であることがわかった。
関連論文リスト
- Memory-efficient particle filter recurrent neural network for object
localization [53.68402839500528]
本研究では、オブジェクトの局所化問題を解決するために、新しいメモリ効率のリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。
古典的粒子フィルタの概念をGRU RNNアーキテクチャと組み合わせる。
我々の実験では、mePFRNNモデルは、考慮された競合相手よりも正確なローカライゼーションを提供し、訓練されたパラメータを少なくする。
論文 参考訳（メタデータ） (2023-10-02T19:41:19Z) - Approximating Continuous Convolutions for Deep Network Compression [11.566258236184964]
本稿では,畳み込みニューラルネットワークの層を圧縮する新しい手法であるApproxConvを提案する。
提案手法では,既存の深層ネットワークモデルを半分に圧縮できるが,精度は1.86%に留まる。
論文 参考訳（メタデータ） (2022-10-17T11:41:26Z) - Compressing Deep CNNs using Basis Representation and Spectral
Fine-tuning [2.578242050187029]
深層畳み込みニューラルネットワーク(CNN)を効率よく簡単に圧縮する方法を提案する。
具体的には、CNNの空間畳み込み層を2つの連続した畳み込み層に置き換えることができる。
我々は、基底とフィルタ表現の両方を微調整し、トランケーションによるパフォーマンス損失を直接軽減する。
論文 参考訳（メタデータ） (2021-05-21T16:14:26Z) - Decoupled Dynamic Filter Networks [85.38058820176047]
これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。
最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。
分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
論文 参考訳（メタデータ） (2021-04-29T04:55:33Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳（メタデータ） (2020-10-29T15:47:26Z) - Binarization Methods for Motor-Imagery Brain-Computer Interface
Classification [18.722731794073756]
本稿では,実数値重みを2進数に変換する手法を提案する。
2次埋め込みの次元を調整することにより、4級MI(leq$1.27%以下)で、float16重みを持つモデルと比較してほぼ同じ精度を達成する。
提案手法は,CNNの完全連結層をバイポーラランダムプロジェクションを用いたバイナリ拡張メモリに置き換える。
論文 参考訳（メタデータ） (2020-10-14T12:28:18Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Learning Sparse Filters in Deep Convolutional Neural Networks with a
l1/l2 Pseudo-Norm [5.3791844634527495]
ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。
近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。
フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
論文 参考訳（メタデータ） (2020-07-20T11:56:12Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。