論文の概要: Conditional Automated Channel Pruning for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2009.09724v2
• Date: Sun, 27 Sep 2020 03:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 05:08:32.821892
• Title: Conditional Automated Channel Pruning for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのための条件付き自動チャネルプルーニング
• Authors: Yixin Liu, Yong Guo, Zichang Liu, Haohua Liu, Jingjie Zhang, Zejun Chen, Jing Liu, Jian Chen
• Abstract要約: 任意の圧縮率を入力とし、対応する圧縮モデルを出力する条件付きモデルを開発する。 実験では、圧縮率が異なる結果のモデルは、既存の方法で圧縮されたモデルよりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 22.709646484723876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression aims to reduce the redundancy of deep networks to obtain compact models. Recently, channel pruning has become one of the predominant compression methods to deploy deep models on resource-constrained devices. Most channel pruning methods often use a fixed compression rate for all the layers of the model, which, however, may not be optimal. To address this issue, given a target compression rate for the whole model, one can search for the optimal compression rate for each layer. Nevertheless, these methods perform channel pruning for a specific target compression rate. When we consider multiple compression rates, they have to repeat the channel pruning process multiple times, which is very inefficient yet unnecessary. To address this issue, we propose a Conditional Automated Channel Pruning(CACP) method to obtain the compressed models with different compression rates through single channel pruning process. To this end, we develop a conditional model that takes an arbitrary compression rate as input and outputs the corresponding compressed model. In the experiments, the resultant models with different compression rates consistently outperform the models compressed by existing methods with a channel pruning process for each target compression rate.
• Abstract（参考訳）: モデル圧縮は、コンパクトモデルを得るためにディープネットワークの冗長性を減らすことを目的としている。 近年,チャネルプルーニングは資源制約されたデバイスにディープモデルをデプロイする主要な圧縮手法の1つとなっている。 ほとんどのチャネルプルーニング法は、モデルの全層に対して固定圧縮率を用いることが多いが、最適ではない可能性がある。 この問題を解決するために、モデル全体の目標圧縮率を考慮すれば、各層に対して最適な圧縮率を求めることができる。 それにもかかわらず、これらの手法は特定の目標圧縮率に対してチャネルプルーニングを行う。 複数の圧縮率を考慮すると、チャンネルの刈り込みプロセスを何度も繰り返す必要があり、これは非常に非効率だが不要である。 そこで本研究では, 圧縮速度の異なる圧縮モデルを得るための条件自動チャネルプルーニング(CACP)手法を提案する。 この目的のために,任意の圧縮率を入力とし,対応する圧縮モデルを出力する条件モデルを開発した。 実験では, 圧縮率の異なるモデルが, 既存の手法で圧縮されたモデルよりも, 目標圧縮率毎にチャネル刈り込みプロセスで常に優れていた。

関連論文リスト

• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Ultra Dual-Path Compression For Joint Echo Cancellation And Noise Suppression [38.09558772881095]
  固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。 提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
  論文  参考訳（メタデータ） (2023-08-21T21:36:56Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Substitutional Neural Image Compression [48.20906717052056]
  置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。 フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
  論文  参考訳（メタデータ） (2021-05-16T20:53:31Z)
• Automated Model Compression by Jointly Applied Pruning and Quantization [14.824593320721407]
  従来のディープ圧縮フレームワークでは、反復的にネットワークプルーニングと量子化を行うことで、モデルのサイズと計算コストを削減できる。 ネットワークプルーニングと量子化を統一的な共同圧縮問題として統合し,AutoMLを用いて自動的に解き出すことで,この問題に対処する。 共同適用プルーニングと量子化(AJPQ)による自動モデル圧縮を提案する。
  論文  参考訳（メタデータ） (2020-11-12T07:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。