論文の概要: Deep Network Pruning: A Comparative Study on CNNs in Face Recognition

• arxiv url: http://arxiv.org/abs/2405.18302v1
• Date: Tue, 28 May 2024 15:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:50:12.405493
• Title: Deep Network Pruning: A Comparative Study on CNNs in Face Recognition
• Title（参考訳）: ディープ・ネットワーク・プルーニング:顔認識におけるCNNの比較研究
• Authors: Fernando Alonso-Fernandez, Kevin Hernandez-Diaz, Jose Maria Buades Rubio, Prayag Tiwari, Josef Bigun,
• Abstract要約: 顔認識に応用したディープネットワーク圧縮法について検討する。 この方法は、SqueezeNet(1.24Mパラメータ)と人気のあるMobileNetv2(3.5M)とResNet50(23.5M)の3つのネットワーク上でテストされる。 フィルタのかなりの割合は、性能損失を最小限に抑えて取り除くことができる。
• 参考スコア（独自算出の注目度）: 47.114282145442616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of mobile devices for all kind of transactions makes necessary reliable and real-time identity authentication, leading to the adoption of face recognition (FR) via the cameras embedded in such devices. Progress of deep Convolutional Neural Networks (CNNs) has provided substantial advances in FR. Nonetheless, the size of state-of-the-art architectures is unsuitable for mobile deployment, since they often encompass hundreds of megabytes and millions of parameters. We address this by studying methods for deep network compression applied to FR. In particular, we apply network pruning based on Taylor scores, where less important filters are removed iteratively. The method is tested on three networks based on the small SqueezeNet (1.24M parameters) and the popular MobileNetv2 (3.5M) and ResNet50 (23.5M) architectures. These have been selected to showcase the method on CNNs with different complexities and sizes. We observe that a substantial percentage of filters can be removed with minimal performance loss. Also, filters with the highest amount of output channels tend to be removed first, suggesting that high-dimensional spaces within popular CNNs are over-dimensionated.
• Abstract（参考訳）: あらゆる種類のトランザクションにモバイルデバイスが広く使用されることにより、信頼性とリアルタイムのID認証が必要となり、そのようなデバイスに埋め込まれたカメラを介して顔認識(FR)が採用される。 深層畳み込みニューラルネットワーク(CNN)の進歩はFRに大きな進歩をもたらした。 それでも、最先端アーキテクチャのサイズは、数十メガバイトと数百万のパラメータを含むことが多いため、モバイルデプロイメントには適していない。 FRに適用したディープ・ネットワーク・圧縮の手法を研究することによってこの問題に対処する。 特に、Taylorのスコアに基づくネットワークプルーニングを適用し、重要でないフィルタを反復的に除去する。 この方法は、小さなSqueezeNet (1.24Mパラメータ)と人気のあるMobileNetv2 (3.5M)とResNet50 (23.5M)アーキテクチャに基づいて、3つのネットワークでテストされる。 これらは、複雑さとサイズが異なるCNNでこの方法を示すために選択されている。 フィルタのかなりの割合は、性能損失を最小限に抑えて取り除くことができる。 また、最大出力チャネルを持つフィルタは、まず除去される傾向にあり、一般的なCNN内の高次元空間が過次元化されていることを示唆している。

関連論文リスト

• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• SqueezerFaceNet: Reducing a Small Face Recognition CNN Even More Via Filter Pruning [55.84746218227712]
  我々は,100万パラメータ未満の軽量顔認識ネットワークであるSqueezerFaceNetを開発した。 性能を損なうことなく、さらに(最大40%)削減できることを示す。
  論文  参考訳（メタデータ） (2023-07-20T08:38:50Z)
• a novel attention-based network for fast salient object detection [14.246237737452105]
  現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。 提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
  論文  参考訳（メタデータ） (2021-12-20T12:30:20Z)
• SMOF: Squeezing More Out of Filters Yields Hardware-Friendly CNN Pruning [2.1481785388161536]
  SMOFと呼ばれるCNNプルーニングフレームワークを開発し、カーネルサイズとフィルタチャネル数の双方を削減し、フィルタの出力を増やす。 SMOFは、カスタマイズされた低レベル実装なしで標準的なハードウェアデバイスに親しみやすい。 また、様々なCNN構造やモバイルデバイス向け汎用プロセッサに関する広範な実験を通じて、これらの主張を支持している。
  論文  参考訳（メタデータ） (2021-10-21T00:58:20Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• Pruning CNN's with linear filter ensembles [0.0]
  ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。 本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。 我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
  論文  参考訳（メタデータ） (2020-01-22T16:52:06Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。