論文の概要: Convolutional Neural Network Compression Based on Low-Rank Decomposition

• arxiv url: http://arxiv.org/abs/2408.16289v1
• Date: Thu, 29 Aug 2024 06:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:43:40.506874
• Title: Convolutional Neural Network Compression Based on Low-Rank Decomposition
• Title（参考訳）: 低ランク分解に基づく畳み込みニューラルネットワーク圧縮
• Authors: Yaping He, Linhao Jiang, Di Wu,
• Abstract要約: 本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 3.3295360710329738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks typically impose significant computational loads and memory consumption. Moreover, the large parameters pose constraints on deploying the model on edge devices such as embedded systems. Tensor decomposition offers a clear advantage in compressing large-scale weight tensors. Nevertheless, direct utilization of low-rank decomposition typically leads to significant accuracy loss. This paper proposes a model compression method that integrates Variational Bayesian Matrix Factorization (VBMF) with orthogonal regularization. Initially, the model undergoes over-parameterization and training, with orthogonal regularization applied to enhance its likelihood of achieving the accuracy of the original model. Secondly, VBMF is employed to estimate the rank of the weight tensor at each layer. Our framework is sufficiently general to apply to other convolutional neural networks and easily adaptable to incorporate other tensor decomposition methods. Experimental results show that for both high and low compression ratios, our compression model exhibits advanced performance.
• Abstract（参考訳）: ディープニューラルネットワークは通常、計算負荷とメモリ消費を著しく要求する。 さらに、大きなパラメータは、組み込みシステムのようなエッジデバイスにモデルをデプロイする際の制約となる。 テンソル分解は、大規模な重みテンソルを圧縮する際の明確な利点を提供する。 しかしながら、低ランク分解の直接利用は、典型的にはかなりの精度の損失をもたらす。 本稿では,変分ベイズ行列因子化(VBMF)と直交正規化を統合するモデル圧縮法を提案する。 当初、モデルは過度なパラメータ化とトレーニングを行い、直交正規化を適用して元のモデルの精度を達成する可能性を高める。 次に、VBMFを用いて各層における重みテンソルのランクを推定する。 我々のフレームワークは、他の畳み込みニューラルネットワークに適用するには十分一般的であり、他のテンソル分解法を組み込むのに容易に適応できる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。

関連論文リスト

• Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
  本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。 本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
  論文  参考訳（メタデータ） (2023-11-08T23:57:03Z)
• Frequency-Aware Re-Parameterization for Over-Fitting Based Image Compression [12.725194101094711]
  オーバーフィットベースの画像圧縮は、圧縮のための重み付け圧縮と実用のための高速収束を必要とする。 本稿では、重みを減らし収束を加速したCNNを訓練するための簡易な再パラメータ化法を提案する。 提案手法は, HEIF上に最大-46.12%のBDレートを達成し, 200回しか繰り返しない画像復元実験により検証した。
  論文  参考訳（メタデータ） (2023-10-12T06:32:12Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Substitutional Neural Image Compression [48.20906717052056]
  置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。 フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
  論文  参考訳（メタデータ） (2021-05-16T20:53:31Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• Learning Context-Based Non-local Entropy Modeling for Image Compression [140.64888994506313]
  本稿では,文脈内でのグローバルな類似性を利用して,文脈モデリングのための非局所的操作を提案する。 エントロピーモデルはさらに、結合速度歪み最適化における速度損失として採用されている。 低歪みモデルのトレーニングに変換の幅が不可欠であることを考えると、最終的に変換のU-Netブロックを生成して、管理可能なメモリ消費と時間複雑性で幅を拡大する。
  論文  参考訳（メタデータ） (2020-05-10T13:28:18Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。