論文の概要: Compression strategies and space-conscious representations for deep neural networks

• arxiv url: http://arxiv.org/abs/2007.07967v1
• Date: Wed, 15 Jul 2020 19:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 04:35:38.246009
• Title: Compression strategies and space-conscious representations for deep neural networks
• Title（参考訳）: 深層ニューラルネットワークの圧縮戦略と空間意識表現
• Authors: Giosu\`e Cataldo Marin\`o, Gregorio Ghidoli, Marco Frasca and Dario Malchiodi
• Abstract要約: 近年のディープラーニングの進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを備えた強力な畳み込みニューラルネットワーク(CNN)が利用可能になった。 CNNには数百万のパラメータがあり、リソース制限のあるプラットフォームではデプロイできない。 本稿では,重み付けと量子化によるCNNの損失圧縮の影響について検討する。
• 参考スコア（独自算出の注目度）: 0.3670422696827526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning have made available large, powerful convolutional neural networks (CNN) with state-of-the-art performance in several real-world applications. Unfortunately, these large-sized models have millions of parameters, thus they are not deployable on resource-limited platforms (e.g. where RAM is limited). Compression of CNNs thereby becomes a critical problem to achieve memory-efficient and possibly computationally faster model representations. In this paper, we investigate the impact of lossy compression of CNNs by weight pruning and quantization, and lossless weight matrix representations based on source coding. We tested several combinations of these techniques on four benchmark datasets for classification and regression problems, achieving compression rates up to $165$ times, while preserving or improving the model performance.
• Abstract（参考訳）: ディープラーニングの最近の進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを持つ大規模で強力な畳み込みニューラルネットワーク(cnn)が利用可能になった。 残念ながら、これらの大規模モデルは数百万のパラメータを持ち、リソース制限されたプラットフォーム(例えばRAMが限られている)にデプロイできない。 これにより、CNNの圧縮はメモリ効率が良く、より高速なモデル表現を実現するために重要な問題となる。 本稿では,cnnの重み追及と量子化による損失圧縮の影響と,ソース符号化に基づくロスレス重み行列表現について検討する。 これらの手法を4つのベンチマークデータセットで組み合わせて分類と回帰問題をテストし、モデル性能を維持したり改善したりしながら圧縮レートを最大165ドルまで達成した。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks [11.19282454437627]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。 これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。 本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-08-09T02:50:15Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression [5.083621265568845]
  多数のパラメータを持つディープ畳み込みニューラルネットワーク(CNN)は膨大な計算資源を必要とする。 そのため,近年CNNの圧縮に分解法が用いられている。 我々は,CNNを圧縮し,関節行列分解による性能劣化を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-07-09T12:32:10Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。