論文の概要: Neural Network Compression for Noisy Storage Devices
- arxiv url: http://arxiv.org/abs/2102.07725v1
- Date: Mon, 15 Feb 2021 18:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:33:23.237535
- Title: Neural Network Compression for Noisy Storage Devices
- Title（参考訳）: ノイズストレージデバイスのためのニューラルネットワーク圧縮
- Authors: Berivan Isik, Kristy Choi, Xin Zheng, Tsachy Weissman, Stefano Ermon,
H.-S. Philip Wong, Armin Alaghi
- Abstract要約: 従来、モデル圧縮と物理ストレージは分離される。
このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。
i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
- 参考スコア（独自算出の注目度）: 71.4102472611862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compression and efficient storage of neural network (NN) parameters is
critical for applications that run on resource-constrained devices. Although NN
model compression has made significant progress, there has been considerably
less investigation in the actual physical storage of NN parameters.
Conventionally, model compression and physical storage are decoupled, as
digital storage media with error correcting codes (ECCs) provide robust
error-free storage. This decoupled approach is inefficient, as it forces the
storage to treat each bit of the compressed model equally, and to dedicate the
same amount of resources to each bit. We propose a radically different approach
that: (i) employs analog memories to maximize the capacity of each memory cell,
and (ii) jointly optimizes model compression and physical storage to maximize
memory utility. We investigate the challenges of analog storage by studying
model storage on phase change memory (PCM) arrays and develop a variety of
robust coding strategies for NN model storage. We demonstrate the efficacy of
our approach on MNIST, CIFAR-10 and ImageNet datasets for both existing and
novel compression methods. Compared to conventional error-free digital storage,
our method has the potential to reduce the memory size by one order of
magnitude, without significantly compromising the stored model's accuracy.
- Abstract（参考訳）: リソース制約のあるデバイスで動作するアプリケーションには、ニューラルネットワーク(NN)パラメータの圧縮と効率的な保存が不可欠である。
NNモデルの圧縮は大幅に進歩しましたが、NNパラメータの実際の物理的ストレージに関する調査はかなり少なくなっています。
従来、モデル圧縮と物理ストレージは分離され、エラー訂正コード(ECC)を備えたデジタルストレージメディアは堅牢なエラーフリーストレージを提供します。
この分離されたアプローチは、ストレージに圧縮モデルの各ビットを等しく扱い、同じ量のリソースを各ビットに割譲するように強制するため、非効率です。
i)各メモリセルの容量を最大化するためにアナログメモリを採用し、(ii)メモリユーティリティを最大化するためにモデル圧縮と物理ストレージを共同で最適化する。
位相変化メモリ(PCM)アレイにおけるモデルストレージの研究と、NNモデルストレージのための様々な堅牢なコーディング戦略の開発により、アナログストレージの課題を調査します。
本研究では,MNIST,CIFAR-10,ImageNetデータセットを用いた既存圧縮法と新規圧縮法の有効性を実証する。
従来の誤りのないデジタルストレージと比較して,本手法は,記憶されたモデルの精度を著しく損なうことなく,メモリサイズを桁違いに小さくすることができる。
関連論文リスト
- BitStack: Fine-Grained Size Control for Compressed Large Language Models in Variable Memory Environments [53.71158537264695]
大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。
textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
論文 参考訳（メタデータ） (2024-10-31T13:26:11Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing [5.3221129103999125]
分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T15:02:11Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳（メタデータ） (2022-02-14T10:26:23Z) - COMET: A Novel Memory-Efficient Deep Learning Training Framework by
Using Error-Bounded Lossy Compression [8.080129426746288]
広範かつ深層ニューラルネットワーク(DNN)のトレーニングには、メモリなどの大量のストレージリソースが必要になる。
本稿では,メモリ効率のよいCNNトレーニングフレームワーク(COMET)を提案する。
我々のフレームワークは、ベースライントレーニングで最大13.5倍、最先端の圧縮ベースのフレームワークで1.8倍のトレーニングメモリ消費を大幅に削減できる。
論文 参考訳（メタデータ） (2021-11-18T07:43:45Z) - Nonlinear Tensor Ring Network [39.89070144585793]
最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。
冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。
本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
論文 参考訳（メタデータ） (2021-11-12T02:02:55Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural
Architecture Search [100.71365025972258]
BERT圧縮の効率的な手法であるNAS-BERTを提案する。
NAS-BERTは、検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮モデルを出力する。
GLUEとSQuADベンチマークデータセットの実験は、NAS-BERTが以前のアプローチよりも高精度で軽量なモデルを見つけることができることを示した。
論文 参考訳（メタデータ） (2021-05-30T07:20:27Z) - A Novel Memory-Efficient Deep Learning Training Framework via
Error-Bounded Lossy Compression [6.069852296107781]
本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。
我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
論文 参考訳（メタデータ） (2020-11-18T00:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。