論文の概要: Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN

• arxiv url: http://arxiv.org/abs/2107.14444v1
• Date: Fri, 30 Jul 2021 06:18:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-02 18:07:37.521824
• Title: Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
• Title（参考訳）: 深層および複雑cnnの効率的な刈り取りのための同一フィルタ冗長性操作
• Authors: Xiaohan Ding, Tianxiang Hao, Jungong Han, Yuchen Guo, Guiguang Ding
• Abstract要約: そこで我々は,Centripetal SGD (C-SGD) を提案する。 C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 126.88224745942456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The existence of redundancy in Convolutional Neural Networks (CNNs) enables us to remove some filters/channels with acceptable performance drops. However, the training objective of CNNs usually tends to minimize an accuracy-related loss function without any attention paid to the redundancy, making the redundancy distribute randomly on all the filters, such that removing any of them may trigger information loss and accuracy drop, necessitating a following finetuning step for recovery. In this paper, we propose to manipulate the redundancy during training to facilitate network pruning. To this end, we propose a novel Centripetal SGD (C-SGD) to make some filters identical, resulting in ideal redundancy patterns, as such filters become purely redundant due to their duplicates; hence removing them does not harm the network. As shown on CIFAR and ImageNet, C-SGD delivers better performance because the redundancy is better organized, compared to the existing methods. The efficiency also characterizes C-SGD because it is as fast as regular SGD, requires no finetuning, and can be conducted simultaneously on all the layers even in very deep CNNs. Besides, C-SGD can improve the accuracy of CNNs by first training a model with the same architecture but wider layers then squeezing it into the original width.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)における冗長性の存在は、許容可能な性能低下を伴うフィルタ/チャネルの除去を可能にする。 しかし、cnnの訓練の目的は、通常、冗長性に注意を払わずに精度関連損失関数を最小化することであり、冗長性を全てのフィルタにランダムに分散させることで、どのフィルタも削除することで情報損失と精度低下を引き起こし、次の微調整ステップを必要としない。 本稿では,ネットワークプルーニングを容易にするために,トレーニング中の冗長性を操作することを提案する。 そこで本研究では,Centripetal SGD (C-SGD) を新たに提案し,フィルタが重複により純粋に冗長になり,ネットワークを損なうことがないことを示す。 CIFARとImageNetに示されているように、C-SGDは、既存の方法と比較して冗長性がより組織化されているため、パフォーマンスが向上する。 効率性はまた、C-SGDは通常のSGDと同じ速度であり、微調整を必要とせず、非常に深いCNNでも全ての層で同時に実行できるため、C-SGDを特徴付ける。 さらに、C-SGDはCNNの精度を向上させるために、最初に同じアーキテクチャでモデルをトレーニングするが、より広い層は元の幅に絞る。

関連論文リスト

• CR-SFP: Learning Consistent Representation for Soft Filter Pruning [18.701621806529438]
  ソフトフィルタプルーニング(SFP)は,プルーニングフィルタのネットワークへの更新と再グローを可能にする効果的なプルーニング技術として登場した。 CR-SFPと呼ばれるソフトフィルタプルーニングのための一貫した表現を学習することで,このギャップを軽減することを提案する。 CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-17T06:41:04Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。