論文の概要: Compressing Deep CNNs using Basis Representation and Spectral Fine-tuning

• arxiv url: http://arxiv.org/abs/2105.10436v1
• Date: Fri, 21 May 2021 16:14:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 06:27:00.406247
• Title: Compressing Deep CNNs using Basis Representation and Spectral Fine-tuning
• Title（参考訳）: 基底表現とスペクトル微細調整を用いた深部CNN圧縮
• Authors: Muhammad Tayyab, Fahad Ahmad Khan, Abhijit Mahalanobis
• Abstract要約: 深層畳み込みニューラルネットワーク(CNN)を効率よく簡単に圧縮する方法を提案する。 具体的には、CNNの空間畳み込み層を2つの連続した畳み込み層に置き換えることができる。 我々は、基底とフィルタ表現の両方を微調整し、トランケーションによるパフォーマンス損失を直接軽減する。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an efficient and straightforward method for compressing deep convolutional neural networks (CNNs) that uses basis filters to represent the convolutional layers, and optimizes the performance of the compressed network directly in the basis space. Specifically, any spatial convolution layer of the CNN can be replaced by two successive convolution layers: the first is a set of three-dimensional orthonormal basis filters, followed by a layer of one-dimensional filters that represents the original spatial filters in the basis space. We jointly fine-tune both the basis and the filter representation to directly mitigate any performance loss due to the truncation. Generality of the proposed approach is demonstrated by applying it to several well known deep CNN architectures and data sets for image classification and object detection. We also present the execution time and power usage at different compression levels on the Xavier Jetson AGX processor.
• Abstract（参考訳）: 本稿では,基底フィルタを用いて畳み込み層を表現する深層畳み込みニューラルネットワーク(cnns)の効率良く簡単な圧縮手法を提案する。 具体的には、cnnの任意の空間畳み込み層は、2つの連続した畳み込み層に置き換えることができる。 我々は、基底とフィルタ表現の両方を共同で微調整し、乱れによるパフォーマンス損失を直接軽減する。 提案手法の一般性は、画像分類とオブジェクト検出のためのいくつかのよく知られた深層CNNアーキテクチャとデータセットに適用することによって実証される。 また、Xavier Jetson AGXプロセッサ上で異なる圧縮レベルでの実行時間と電力使用量を示す。

関連論文リスト

• DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel [7.106986689736828]
  完全に接続されたニューラルネットワークによって生成される密度場を用いてSIMP法について検討し,その座標を入力とする。 我々は,DNNの使用が従来のSIMPのフィルタリング手法と類似したフィルタリング効果をもたらすことを示し,ニューラル・タンジェント・カーネル(NTK)によるフィルタについて述べる。
  論文  参考訳（メタデータ） (2021-06-10T12:49:55Z)
• Resolution learning in deep convolutional networks using scale-space theory [31.275270391367425]
  ディープ畳み込みニューラルネットワーク(CNN)の解像度は、一般的に、フィルタサイズを通じて受容野のサイズと、特徴写像上の層や強みのある畳み込みによって制限される。 我々は、ハードコードされた高解像度パラメータを廃止し、データから適切な解像度を学習することを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。
  論文  参考訳（メタデータ） (2021-06-07T08:23:02Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
  本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。 解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
  論文  参考訳（メタデータ） (2020-10-21T20:04:22Z)
• Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters [15.66437882635872]
  深層畳み込みニューラルネットワーク(CNN)は多くの実生活問題に適用されている。 ディープCNNモデルの巨大なメモリコストは、メモリ制限されたデバイスにそれらをデプロイする上で大きな課題となる。 低次元バイナリ畳み込みフィルタを積み重ねて深部CNNモデルを圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T14:49:22Z)
• Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
  本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。 我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
  論文  参考訳（メタデータ） (2020-06-26T04:47:20Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。