論文の概要: Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning

• arxiv url: http://arxiv.org/abs/2401.08014v1
• Date: Mon, 15 Jan 2024 23:52:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:36:15.460693
• Title: Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning
• Title（参考訳）: 動的パラメータランクプルーニングによる畳み込みニューラルネットワーク圧縮
• Authors: Manish Sharma, Jamison Heard, Eli Saber, Panos P. Markopoulos
• Abstract要約: 動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
• 参考スコア（独自算出の注目度）: 4.7027290803102675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Convolutional Neural Networks (CNNs) excel at learning complex latent-space representations, their over-parameterization can lead to overfitting and reduced performance, particularly with limited data. This, alongside their high computational and memory demands, limits the applicability of CNNs for edge deployment. Low-rank matrix approximation has emerged as a promising approach to reduce CNN parameters, but its application presents challenges including rank selection and performance loss. To address these issues, we propose an efficient training method for CNN compression via dynamic parameter rank pruning. Our approach integrates efficient matrix factorization and novel regularization techniques, forming a robust framework for dynamic rank reduction and model compression. We use Singular Value Decomposition (SVD) to model low-rank convolutional filters and dense weight matrices and we achieve model compression by training the SVD factors with back-propagation in an end-to-end way. We evaluate our method on an array of modern CNNs, including ResNet-18, ResNet-20, and ResNet-32, and datasets like CIFAR-10, CIFAR-100, and ImageNet (2012), showcasing its applicability in computer vision. Our experiments show that the proposed method can yield substantial storage savings while maintaining or even enhancing classification performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は複雑な潜在空間表現の学習に優れているが、その過剰パラメータ化はオーバーフィッティングや、特に限られたデータではパフォーマンスの低下につながる可能性がある。 これにより、高い計算とメモリ要求に加えて、エッジデプロイメントに対するCNNの適用性も制限される。 低ランク行列近似はCNNパラメータを減らすための有望なアプローチとして登場したが、その応用はランク選択や性能損失などの課題を提示している。 この問題に対処するために,動的パラメータランクプルーニングによるcnn圧縮の効率的なトレーニング手法を提案する。 本手法は,効率的な行列分解と新しい正規化手法を統合し,動的ランク削減とモデル圧縮のためのロバストな枠組みを形成する。 我々はSingular Value Decomposition (SVD) を用いて低ランク畳み込みフィルタと高密度重み行列をモデル化し、エンドツーエンドでSVD因子をトレーニングすることでモデル圧縮を実現する。 我々は、ResNet-18、ResNet-20、ResNet-32、CIFAR-10、CIFAR-100、ImageNet (2012) などの最新のCNNのアレイ上で、そのコンピュータビジョンへの適用性を示す。 提案手法は,分類性能を維持・向上させながら,保存量を大幅に削減できることを示す。

関連論文リスト

• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
  本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。 モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。 数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
  論文  参考訳（メタデータ） (2021-08-15T21:32:47Z)
• Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression [5.083621265568845]
  多数のパラメータを持つディープ畳み込みニューラルネットワーク(CNN)は膨大な計算資源を必要とする。 そのため,近年CNNの圧縮に分解法が用いられている。 我々は,CNNを圧縮し,関節行列分解による性能劣化を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-07-09T12:32:10Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Compression strategies and space-conscious representations for deep neural networks [0.3670422696827526]
  近年のディープラーニングの進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを備えた強力な畳み込みニューラルネットワーク(CNN)が利用可能になった。 CNNには数百万のパラメータがあり、リソース制限のあるプラットフォームではデプロイできない。 本稿では,重み付けと量子化によるCNNの損失圧縮の影響について検討する。
  論文  参考訳（メタデータ） (2020-07-15T19:41:19Z)
• CNN Acceleration by Low-rank Approximation with Quantized Factors [9.654865591431593]
  現代の畳み込みニューラルネットワークは複雑なコンピュータビジョンタスクの解決において大きな成果を上げているが、モバイルや組み込みデバイスでは効果的に利用できない。 この問題を解決するために、タッカー形式の低ランクテンソル近似と重みの量子化と特徴写像(アクティベーション)という2つの既知の手法を組み合わせた新しい手法を提案する。 CIFAR-10, CIFAR-100, Imagenet分類タスクにおけるResNet18とResNet34の効率を実証した。
  論文  参考訳（メタデータ） (2020-06-16T02:28:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。