論文の概要: Towards Compact CNNs via Collaborative Compression

• arxiv url: http://arxiv.org/abs/2105.11228v1
• Date: Mon, 24 May 2021 12:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 20:12:59.488295
• Title: Towards Compact CNNs via Collaborative Compression
• Title（参考訳）: 協調圧縮によるコンパクトcnnを目指して
• Authors: Yuchao Li, Shaohui Lin, Jianzhuang Liu, Qixiang Ye, Mengdi Wang, Fei Chao, Fan Yang, Jincheng Ma, Qi Tian, Rongrong Ji
• Abstract要約: チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
• 参考スコア（独自算出の注目度）: 166.86915086497433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Channel pruning and tensor decomposition have received extensive attention in convolutional neural network compression. However, these two techniques are traditionally deployed in an isolated manner, leading to significant accuracy drop when pursuing high compression rates. In this paper, we propose a Collaborative Compression (CC) scheme, which joints channel pruning and tensor decomposition to compress CNN models by simultaneously learning the model sparsity and low-rankness. Specifically, we first investigate the compression sensitivity of each layer in the network, and then propose a Global Compression Rate Optimization that transforms the decision problem of compression rate into an optimization problem. After that, we propose multi-step heuristic compression to remove redundant compression units step-by-step, which fully considers the effect of the remaining compression space (i.e., unremoved compression units). Our method demonstrates superior performance gains over previous ones on various datasets and backbone architectures. For example, we achieve 52.9% FLOPs reduction by removing 48.4% parameters on ResNet-50 with only a Top-1 accuracy drop of 0.56% on ImageNet 2012.
• Abstract（参考訳）: チャネルプルーニングとテンソル分解は畳み込みニューラルネットワーク圧縮において大きな注目を集めている。 しかし、これらの2つの手法は伝統的に分離された方法で展開され、高い圧縮速度を追求する際にかなりの精度が低下する。 本稿では,チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮し,モデルの疎度と低ランク性を同時に学習する協調圧縮(CC)方式を提案する。 具体的には,まずネットワークの各レイヤの圧縮感度を調査し,次に圧縮率の決定問題を最適化問題に変換するグローバル圧縮率最適化を提案する。 その後,冗長圧縮単位を段階的に除去するマルチステップヒューリスティック圧縮を提案する。 提案手法は,過去のデータセットやバックボーンアーキテクチャよりも優れた性能向上を示す。 例えば、ResNet-50では48.4%のパラメータを削除して52.9%のFLOP削減を実現しています。

関連論文リスト

• Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
  本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。 提案手法では,ResNet34の計算コストを最大859倍に削減する。 我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
  論文  参考訳（メタデータ） (2024-03-26T07:26:00Z)
• Ultra Dual-Path Compression For Joint Echo Cancellation And Noise Suppression [38.09558772881095]
  固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。 提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
  論文  参考訳（メタデータ） (2023-08-21T21:36:56Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Reducing The Amortization Gap of Entropy Bottleneck In End-to-End Image Compression [2.1485350418225244]
  エンド・ツー・エンドのディープ・トレーニング可能なモデルは、ビデオや画像の従来の手作り圧縮技術の性能をほぼ上回っている。 本稿では,このアモート化ギャップを小さなコストで低減する,シンプルで効率的なインスタンスベースのパラメータ化手法を提案する。
  論文  参考訳（メタデータ） (2022-09-02T11:43:45Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Learning Better Lossless Compression Using Lossy Compression [100.50156325096611]
  我々は、ロスレス画像圧縮システムを構築するために、強力なロスレス画像圧縮アルゴリズムであるBPGを利用する。 我々は,BPG再構成を条件とした畳み込みニューラルネットワークに基づく確率モデルを用いて,残差分布をモデル化する。 そして、この画像は、BPGが生成したビットストリームと学習した残留コーダの連結を用いて保存される。
  論文  参考訳（メタデータ） (2020-03-23T11:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。