論文の概要: Gabor filter incorporated CNN for compression

• arxiv url: http://arxiv.org/abs/2110.15644v1
• Date: Fri, 29 Oct 2021 09:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 21:01:40.672576
• Title: Gabor filter incorporated CNN for compression
• Title（参考訳）: 圧縮用cnnを組み込んだgaborフィルタ
• Authors: Akihiro Imamura, Nana Arizumi
• Abstract要約: 自己アテンションモデルの最近の進歩は、畳み込みフィルタが以前の層での自己アテンションよりも好ましいことを示している。 我々は圧縮のために初期のCNN層にGaborフィルタを組み込んだ。 CIFAR-10用VGG-16の第1層は192のカーネル/機能を持つが、Gaborフィルタの学習には平均29.4のカーネルが必要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) are remarkably successful in many computer vision tasks. However, the high cost of inference is problematic for embedded and real-time systems, so there are many studies on compressing the networks. On the other hand, recent advances in self-attention models showed that convolution filters are preferable to self-attention in the earlier layers, which indicates that stronger inductive biases are better in the earlier layers. As shown in convolutional filters, strong biases can train specific filters and construct unnecessarily filters to zero. This is analogous to classical image processing tasks, where choosing the suitable filters makes a compact dictionary to represent features. We follow this idea and incorporate Gabor filters in the earlier layers of CNNs for compression. The parameters of Gabor filters are learned through backpropagation, so the features are restricted to Gabor filters. We show that the first layer of VGG-16 for CIFAR-10 has 192 kernels/features, but learning Gabor filters requires an average of 29.4 kernels. Also, using Gabor filters, an average of 83% and 94% of kernels in the first and the second layer, respectively, can be removed on the altered ResNet-20, where the first five layers are exchanged with two layers of larger kernels for CIFAR-10.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクで著しく成功している。 しかし、組み込みシステムやリアルタイムシステムでは高い推論コストが問題となるため、ネットワークの圧縮に関する多くの研究がある。 一方,自己着脱モデルにおける最近の進歩は,畳み込みフィルタが先行層での自己着脱よりも好ましいことを示し,より強い帰納的バイアスが先行層より優れていることを示している。 畳み込みフィルタで示されるように、強いバイアスは特定のフィルタを訓練し、不要なフィルタをゼロに構築することができる。 これは、適切なフィルタを選択することで、特徴を表現するためのコンパクトな辞書を作る古典的な画像処理タスクに似ている。 我々はこのアイデアに従い、圧縮のために初期のCNN層にGaborフィルタを組み込む。 Gaborフィルタのパラメータはバックプロパゲーションによって学習されるため、特徴はGaborフィルタに限定される。 CIFAR-10用VGG-16の最初の層は192のカーネル/機能を持つが、Gaborフィルタの学習には平均29.4のカーネルが必要である。 また、第1層と第2層のカーネルの平均83%と94%のGaborフィルタを用いて、変更したResNet-20では、第1層の5層がCIFAR-10用の2つの大きなカーネルと交換される。

関連論文リスト

• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Gabor is Enough: Interpretable Deep Denoising with a Gabor Synthesis Dictionary Prior [6.297103076360578]
  ガバーライクなフィルタはCNN分類器の初期層や低レベルの画像処理ネットワークで観測されている。 本研究では,自然像のCNNのフィルタを2次元実ガボルフィルタで学習するために,この観察を極端かつ明示的に制限する。 提案したネットワーク(GDLNet)は,一般的な完全畳み込みニューラルネットワークにおいて,最先端のデノゲーション性能を実現することができる。
  論文  参考訳（メタデータ） (2022-04-23T22:21:54Z)
• Improve Convolutional Neural Network Pruning by Maximizing Filter Variety [0.0]
  ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:59Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)
• Gabor Convolutional Networks [103.87356592690669]
  我々は、Gaborフィルタをディープ畳み込みニューラルネットワーク(DCNN)に組み込む、GCN(Gabor Convolutional Networks)と呼ばれる新しいディープモデルを提案する。 GCNは簡単に実装でき、一般的なディープラーニングアーキテクチャと互換性がある。 実験により,物体認識におけるアルゴリズムの超能力を示す。
  論文  参考訳（メタデータ） (2017-05-03T14:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。