論文の概要: Chain of Compression: A Systematic Approach to Combinationally Compress Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2403.17447v1
• Date: Tue, 26 Mar 2024 07:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:16:34.323675
• Title: Chain of Compression: A Systematic Approach to Combinationally Compress Convolutional Neural Networks
• Title（参考訳）: 圧縮の連鎖:畳み込みニューラルネットワークを併用するための体系的アプローチ
• Authors: Yingtao Shen, Minqing Sun, Jie Zhao, An Zou,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は非常に人気があるが、その計算とメモリの強度は、リソース制約の計算システムに課題をもたらす。 量子化、プルーニング、早期出口、知識蒸留といった多くのアプローチは、ニューラルネットワークの冗長性を減少させる効果を示している。 本稿では、ニューラルネットワークの圧縮にこれらの一般的な手法を適用するために、組み合わせシーケンスで動作する圧縮の連鎖を提案する。
• 参考スコア（独自算出の注目度）: 3.309813585671485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have achieved significant popularity, but their computational and memory intensity poses challenges for resource-constrained computing systems, particularly with the prerequisite of real-time performance. To release this burden, model compression has become an important research focus. Many approaches like quantization, pruning, early exit, and knowledge distillation have demonstrated the effect of reducing redundancy in neural networks. Upon closer examination, it becomes apparent that each approach capitalizes on its unique features to compress the neural network, and they can also exhibit complementary behavior when combined. To explore the interactions and reap the benefits from the complementary features, we propose the Chain of Compression, which works on the combinational sequence to apply these common techniques to compress the neural network. Validated on the image-based regression and classification networks across different data sets, our proposed Chain of Compression can significantly compress the computation cost by 100-1000 times with ignorable accuracy loss compared with the baseline model.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は非常に人気があるが、その計算とメモリの強度は、特にリアルタイムパフォーマンスの前提条件で、リソース制約のコンピューティングシステムに課題をもたらす。 この重荷を解放するために、モデル圧縮は重要な研究の焦点となっている。 量子化、プルーニング、早期出口、知識蒸留といった多くのアプローチは、ニューラルネットワークの冗長性を減少させる効果を示している。 より精査すると、それぞれのアプローチがニューラルネットワークを圧縮するために独自の特徴を生かし、組み合わせることで相補的な振る舞いを示すことが明らかになる。 相互作用を探索し、相補的特徴の利点を享受するために、ニューラルネットワークの圧縮にこれらの一般的な手法を適用するために組み合わせシーケンスで動作する圧縮の連鎖(Chain of Compression)を提案する。 そこで提案したChain of Compressionは,画像に基づく回帰と分類ネットワークを用いて,ベースラインモデルと比較して計算コストを100～1000倍に圧縮する。

関連論文リスト

• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
  プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです 効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。 本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T13:34:02Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
  自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。 BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2021-11-30T07:36:23Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Neural Network Compression Via Sparse Optimization [23.184290795230897]
  スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。 我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-11-10T03:03:55Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。