Fugu-MT 論文翻訳(概要): Sequential Encryption of Sparse Neural Networks Toward Optimum Representation of Irregular Sparsity

論文の概要: Sequential Encryption of Sparse Neural Networks Toward Optimum Representation of Irregular Sparsity

arxiv url: http://arxiv.org/abs/2105.01869v1
Date: Wed, 5 May 2021 05:14:50 GMT
ステータス: 処理完了
システム内更新日: 2021-05-06 12:35:00.861033
Title: Sequential Encryption of Sparse Neural Networks Toward Optimum Representation of Irregular Sparsity
Title（参考訳）: 不規則空間の最適表現に向けたスパースニューラルネットワークの逐次暗号化
Authors: Baeseong Park, Se Jung Kwon, Dongsoo Lee, Daehwan Oh, Byeongwook Kim, Yongkweon Jeon, Yeonju Ro
Abstract要約: 固定固定型暗号アーキテクチャ/アルゴリズムについて検討し, きめ細かいプルーニング法をサポートする。本提案の圧縮方式はトランスとResNet-50の最大圧縮比を達成できることを実証した。
参考スコア（独自算出の注目度）: 9.062897838978955
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Even though fine-grained pruning techniques achieve a high compression ratio, conventional sparsity representations (such as CSR) associated with irregular sparsity degrade parallelism significantly. Practical pruning methods, thus, usually lower pruning rates (by structured pruning) to improve parallelism. In this paper, we study fixed-to-fixed (lossless) encryption architecture/algorithm to support fine-grained pruning methods such that sparse neural networks can be stored in a highly regular structure. We first estimate the maximum compression ratio of encryption-based compression using entropy. Then, as an effort to push the compression ratio to the theoretical maximum (by entropy), we propose a sequential fixed-to-fixed encryption scheme. We demonstrate that our proposed compression scheme achieves almost the maximum compression ratio for the Transformer and ResNet-50 pruned by various fine-grained pruning methods.
Abstract（参考訳）: 微細プルーニング技術は高い圧縮比を達成するが、従来のスペーシティ表現(CSRなど)は不規則スペーシティの並列性を著しく低下させる。したがって、実際のプルーニング法は(構造的プルーニングによる)より低いプルーニング率で並列性を改善する。本稿では,sparseニューラルネットワークを高規則な構造に格納できる細粒度プルーニング法をサポートするため,固定固定型(損失なし)暗号アーキテクチャ/アルゴリズムについて検討する。まずエントロピーを用いた暗号ベースの圧縮の最大圧縮比を推定する。そこで,(エントロピーによる)圧縮比を理論的な最大値に押し上げるため,逐次固定対固定暗号方式を提案する。提案する圧縮方式は, 様々な細粒度プルーニング法により, トランスおよびresnet-50プルーニングの最大圧縮比をほぼ達成できることを実証する。

関連論文リスト

Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。提案手法では,ResNet34の計算コストを最大859倍に削減する。我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
論文参考訳（メタデータ） (2024-03-26T07:26:00Z)
Reducing The Amortization Gap of Entropy Bottleneck In End-to-End Image Compression [2.1485350418225244]
エンド・ツー・エンドのディープ・トレーニング可能なモデルは、ビデオや画像の従来の手作り圧縮技術の性能をほぼ上回っている。本稿では,このアモート化ギャップを小さなコストで低減する,シンプルで効率的なインスタンスベースのパラメータ化手法を提案する。
論文参考訳（メタデータ） (2022-09-02T11:43:45Z)
Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文参考訳（メタデータ） (2021-12-08T13:02:53Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding [45.66971406567023]
bits-backは、およその後方と真の後方の間のKLの発散に等しい増加に苦しむ。より厳密な変動境界からビットバック符号化アルゴリズムを導出することにより、このギャップを取り除く方法を示す。
論文参考訳（メタデータ） (2021-02-22T14:58:01Z)
Successive Pruning for Model Compression via Rate Distortion Theory [15.598364403631528]
NN圧縮を情報理論的手法を用いて検討し, NN圧縮の理論的限界を達成するために, 速度歪み理論がプルーニングを示唆していることを示す。我々の導出は、新しいプルーニング戦略を含むエンドツーエンドの圧縮パイプラインも提供する。本手法は,既存のプルーニング戦略を一貫して上回り,プルーニングモデルのサイズを2.5倍小さくする。
論文参考訳（メタデータ） (2021-02-16T18:17:57Z)
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文参考訳（メタデータ） (2020-10-22T02:34:33Z)
Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
論文参考訳（メタデータ） (2020-07-01T04:35:00Z)
A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文参考訳（メタデータ） (2020-04-21T08:40:55Z)
Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
論文参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。