論文の概要: SMOF: Squeezing More Out of Filters Yields Hardware-Friendly CNN Pruning

• arxiv url: http://arxiv.org/abs/2110.10842v1
• Date: Thu, 21 Oct 2021 00:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 16:30:28.110185
• Title: SMOF: Squeezing More Out of Filters Yields Hardware-Friendly CNN Pruning
• Title（参考訳）: SMOF: ハードウェアフレンドリーなCNNプルーニングでフィルタをもっと使いこなす
• Authors: Yanli Liu, Bochen Guan, Qinwen Xu, Weiyi Li, and Shuxue Quan
• Abstract要約: SMOFと呼ばれるCNNプルーニングフレームワークを開発し、カーネルサイズとフィルタチャネル数の双方を削減し、フィルタの出力を増やす。 SMOFは、カスタマイズされた低レベル実装なしで標準的なハードウェアデバイスに親しみやすい。 また、様々なCNN構造やモバイルデバイス向け汎用プロセッサに関する広範な実験を通じて、これらの主張を支持している。
• 参考スコア（独自算出の注目度）: 2.1481785388161536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For many years, the family of convolutional neural networks (CNNs) has been a workhorse in deep learning. Recently, many novel CNN structures have been designed to address increasingly challenging tasks. To make them work efficiently on edge devices, researchers have proposed various structured network pruning strategies to reduce their memory and computational cost. However, most of them only focus on reducing the number of filter channels per layer without considering the redundancy within individual filter channels. In this work, we explore pruning from another dimension, the kernel size. We develop a CNN pruning framework called SMOF, which Squeezes More Out of Filters by reducing both kernel size and the number of filter channels. Notably, SMOF is friendly to standard hardware devices without any customized low-level implementations, and the pruning effort by kernel size reduction does not suffer from the fixed-size width constraint in SIMD units of general-purpose processors. The pruned networks can be deployed effortlessly with significant running time reduction. We also support these claims via extensive experiments on various CNN structures and general-purpose processors for mobile devices.
• Abstract（参考訳）: 長年にわたって、畳み込みニューラルネットワーク(CNN)のファミリーは、ディープラーニングにおけるワークホースであった。 近年,多くの新しいCNN構造が,ますます困難な課題に対処するよう設計されている。 エッジデバイス上で効率的に動作するようにするため、研究者はメモリと計算コストを削減するために様々な構造化ネットワークプルーニング戦略を提案した。 しかし、その多くは個々のフィルタチャネルの冗長性を考慮せずに、レイヤ毎のフィルタチャネル数を減らすことにのみ焦点を合わせている。 本研究では,他の次元,カーネルサイズからのプルーニングについて検討する。 我々はcnn pruningフレームワークsmofを開発し,カーネルサイズとフィルタチャネル数の両方を削減し,フィルタの絞り込みを行う。 特に、SMOFは、カスタマイズされた低レベル実装のない標準ハードウェアデバイスと親和性があり、カーネルサイズ削減によるプルーニングの取り組みは、汎用プロセッサのSIMDユニットの固定サイズ幅制限に支障を来さない。 刈り取られたネットワークは、実行時間を大幅に削減して、無益にデプロイできる。 また,様々なcnn構造およびモバイルデバイス用汎用プロセッサに関する広範囲な実験を通じて,これらの主張を支持している。

関連論文リスト

• Deep Network Pruning: A Comparative Study on CNNs in Face Recognition [47.114282145442616]
  顔認識に応用したディープネットワーク圧縮法について検討する。 この方法は、SqueezeNet(1.24Mパラメータ)と人気のあるMobileNetv2(3.5M)とResNet50(23.5M)の3つのネットワーク上でテストされる。 フィルタのかなりの割合は、性能損失を最小限に抑えて取り除くことができる。
  論文  参考訳（メタデータ） (2024-05-28T15:57:58Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN [126.88224745942456]
  そこで我々は,Centripetal SGD (C-SGD) を提案する。 C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-07-30T06:18:19Z)
• Spectral Leakage and Rethinking the Kernel Size in CNNs [10.432041176720842]
  CNNカーネルの小型化は,スペクトルリークの影響を受けやすいことを示す。 従来の3ドル3セントカーネルによるベースラインの分類精度の向上を実証した。 また,ハミングウィンドウ表示を用いたCNNは,特定の種類の敵攻撃に対する堅牢性を高めた。
  論文  参考訳（メタデータ） (2021-01-25T14:49:29Z)
• CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
  畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。 CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
  論文  参考訳（メタデータ） (2020-09-08T02:08:20Z)
• Cluster Pruning: An Efficient Filter Pruning Method for Edge AI Vision Applications [13.197955183748796]
  CNNでフィルタを除去する構造的方法を提供するクラスタプルーニングと呼ばれる新しいグリーディ手法が提案されている。 提案手法を用いてエッジAIアプリケーションをデプロイするために,Intel Movidius-NCSからなる低コストIoTハードウェアセットアップを提案する。
  論文  参考訳（メタデータ） (2020-03-05T06:20:09Z)
• Pruning CNN's with linear filter ensembles [0.0]
  ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。 本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。 我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
  論文  参考訳（メタデータ） (2020-01-22T16:52:06Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。