Fugu-MT 論文翻訳(概要): Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN

論文の概要: Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN

arxiv url: http://arxiv.org/abs/2403.17447v2
Date: Sat, 17 Aug 2024 09:20:42 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 03:17:53.310866
Title: Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN
Title（参考訳）: 圧縮の順序:CNNを併用するための体系的および最適シーケンス
Authors: Yingtao Shen, Minqing Sun, Jianzhe Lin, Jie Zhao, An Zou,
Abstract要約: 本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。提案手法では,ResNet34の計算コストを最大859倍に削減する。我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
参考スコア（独自算出の注目度）: 5.25545980258284
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model compression has gained significant popularity as a means to alleviate the computational and memory demands of machine learning models. Each compression technique leverages unique features to reduce the size of neural networks. Although intuitively combining different techniques may enhance compression effectiveness, we find that the order in which they are combined significantly influences performance. To identify the optimal sequence for compressing neural networks, we propose the Order of Compression, a systematic and optimal sequence to apply multiple compression techniques in the most effective order. We start by building the foundations of the orders between any two compression approaches and then demonstrate inserting additional compression between any two compressions will not break the order of the two compression approaches. Based on the foundations, an optimal order is obtained with topological sorting. Validated on image-based regression and classification networks across different datasets, our proposed Order of Compression significantly reduces computational costs by up to 859 times on ResNet34, with negligible accuracy loss (-0.09% for CIFAR10) compared to the baseline model. We believe our simple yet effective exploration of the order of compression will shed light on the practice of model compression.
Abstract（参考訳）: モデル圧縮は、機械学習モデルの計算およびメモリ要求を軽減する手段として、大きな人気を集めている。それぞれの圧縮技術は、ユニークな特徴を活用して、ニューラルネットワークのサイズを減らす。異なる手法を直感的に組み合わせることで圧縮効率が向上する可能性があるが、それらを組み合わせた順序が性能に大きく影響していることが分かる。ニューラルネットワークを圧縮するための最適なシーケンスを特定するために,複数の圧縮手法を最も効果的な順序で適用するための,システマティックかつ最適なシーケンスである圧縮順序を提案する。まず,2つの圧縮手法間の順序の土台を構築し,さらに2つの圧縮手法間の追加圧縮が2つの圧縮手法の順序を損なわないことを示す。これらの基礎に基づいて、位相的ソートによって最適な順序が得られる。画像に基づく回帰と異なるデータセット間の分類ネットワークを検証し,提案した圧縮の順序は,ベースラインモデルと比較して無視可能な精度損失(-0.09%)を伴って,ResNet34の計算コストを最大859倍に削減する。我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。

関連論文リスト

AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
論文参考訳（メタデータ） (2024-09-23T14:21:06Z)
Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文参考訳（メタデータ） (2023-04-13T10:52:49Z)
Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
プルーニングと量子化がニューラルネットワークを圧縮する主要なアプローチです効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
論文参考訳（メタデータ） (2022-12-15T13:34:02Z)
Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文参考訳（メタデータ） (2022-04-26T01:35:02Z)
A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。 BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
論文参考訳（メタデータ） (2021-11-30T07:36:23Z)
Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。各層を自動的に解析し、最適な層間圧縮比を特定する。我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文参考訳（メタデータ） (2021-07-23T20:01:30Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文参考訳（メタデータ） (2020-11-10T03:03:55Z)
GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文参考訳（メタデータ） (2020-08-25T14:39:42Z)
PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。