論文の概要: Layer-Wise Data-Free CNN Compression

• arxiv url: http://arxiv.org/abs/2011.09058v3
• Date: Thu, 19 May 2022 21:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:11:12.753944
• Title: Layer-Wise Data-Free CNN Compression
• Title（参考訳）: 層幅データフリーCNN圧縮
• Authors: Maxwell Horton, Yanzi Jin, Ali Farhadi, Mohammad Rastegari
• Abstract要約: 本稿では,事前学習ネットワークのみを用いてレイヤワイズトレーニングデータを生成する方法を示す。 本稿では,量子化とプルーニングを用いた層間圧縮の結果について述べる。
• 参考スコア（独自算出の注目度）: 49.73757297936685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a computationally efficient method for compressing a trained neural network without using real data. We break the problem of data-free network compression into independent layer-wise compressions. We show how to efficiently generate layer-wise training data using only a pretrained network. We use this data to perform independent layer-wise compressions on the pretrained network. We also show how to precondition the network to improve the accuracy of our layer-wise compression method. We present results for layer-wise compression using quantization and pruning. When quantizing, we compress with higher accuracy than related works while using orders of magnitude less compute. When compressing MobileNetV2 and evaluating on ImageNet, our method outperforms existing methods for quantization at all bit-widths, achieving a $+0.34\%$ improvement in $8$-bit quantization, and a stronger improvement at lower bit-widths (up to a $+28.50\%$ improvement at $5$ bits). When pruning, we outperform baselines of a similar compute envelope, achieving $1.5$ times the sparsity rate at the same accuracy. We also show how to combine our efficient method with high-compute generative methods to improve upon their results.
• Abstract（参考訳）: 本稿では,実データを用いずに学習したニューラルネットワークを計算効率良く圧縮する手法を提案する。 データフリーネットワーク圧縮の問題を,独立したレイヤワイド圧縮に分割する。 本研究では,事前学習ネットワークのみを用いて,レイヤワイドトレーニングデータを効率的に生成する方法を示す。 このデータを用いて、事前訓練されたネットワーク上で独立したレイヤワイズ圧縮を行う。 また,ネットワークをプリコンディショニングして,階層圧縮手法の精度を向上させる方法を示す。 本稿では,量子化とプルーニングを用いた層間圧縮の結果について述べる。 量子化の際には、計算の桁数を桁違いに減らしながら、関連する作業よりも高い精度で圧縮する。 提案手法は,MobileNetV2を圧縮し,ImageNet上での評価を行う場合,すべてのビット幅で既存の量子化手法よりも優れ,$+0.34\%の量子化を実現し,$8$の量子化で$+0.34\%の精度向上を実現した。 プルーニングでは、同様の計算エンベロープのベースラインを上回り、同じ精度でスパーシティレートの1.5ドルを達成します。 また,提案手法を高速な生成法と組み合わせて結果を改善する方法についても述べる。

関連論文リスト

• Accelerating Distributed Deep Learning using Lossless Homomorphic Compression [17.654138014999326]
  本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。 集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
  論文  参考訳（メタデータ） (2024-02-12T09:57:47Z)
• Compression of Recurrent Neural Networks using Matrix Factorization [0.9208007322096533]
  本稿では,各行列に対して異なるランクを選択するランク調整法を提案する。 信号処理タスクに関する数値実験により、リカレントニューラルネットワークを1.4%の相対的性能低下で14倍まで圧縮できることが示されている。
  論文  参考訳（メタデータ） (2023-10-19T12:35:30Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
  本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
  論文  参考訳（メタデータ） (2020-09-03T23:29:50Z)
• Compressing Deep Neural Networks via Layer Fusion [32.80630183210368]
  textitlayer fusionはモデル圧縮技術で、どの重みを結合して、同じ完全に接続された、畳み込み、注意層で重みを融合させるかを検出する。 レイヤ融合は、競争性能を維持しながら、オーバーヘッドの少ない元のネットワークのレイヤ数を著しく削減することができる。
  論文  参考訳（メタデータ） (2020-07-29T15:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。