論文の概要: Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization

• arxiv url: http://arxiv.org/abs/2112.03690v1
• Date: Tue, 7 Dec 2021 13:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:28:25.852358
• Title: Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
• Title（参考訳）: ファンネル規則化を用いた畳み込みニューラルネットワーク圧縮のための低ランクテンソル分解
• Authors: Bo-Shiuan Chu, Che-Rung Lee
• Abstract要約: 低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
• 参考スコア（独自算出の注目度）: 1.8579693774597708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor decomposition is one of the fundamental technique for model compression of deep convolution neural networks owing to its ability to reveal the latent relations among complex structures. However, most existing methods compress the networks layer by layer, which cannot provide a satisfactory solution to achieve global optimization. In this paper, we proposed a model reduction method to compress the pre-trained networks using low-rank tensor decomposition of the convolution layers. Our method is based on the optimization techniques to select the proper ranks of decomposed network layers. A new regularization method, called funnel function, is proposed to suppress the unimportant factors during the compression, so the proper ranks can be revealed much easier. The experimental results show that our algorithm can reduce more model parameters than other tensor compression methods. For ResNet18 with ImageNet2012, our reduced model can reach more than twi times speed up in terms of GMAC with merely 0.7% Top-1 accuracy drop, which outperforms most existing methods in both metrics.
• Abstract（参考訳）: テンソル分解は、複雑な構造間の潜伏関係を明らかにする能力により、深部畳み込みニューラルネットワークのモデル圧縮の基本的な手法の1つである。 しかし、既存の方法の多くはネットワーク層をレイヤ単位で圧縮するので、グローバル最適化を実現するための十分なソリューションを提供しられない。 本稿では,畳み込み層の低ランクテンソル分解を用いて事前学習したネットワークを圧縮するモデル低減法を提案する。 本手法は,分解したネットワーク層を適切にランク付けする最適化手法に基づく。 圧縮中の重要でない因子を抑制するため, ファンネル関数と呼ばれる新しい正規化法が提案されている。 実験の結果,他のテンソル圧縮法よりもモデルパラメータを低減できることがわかった。 ImageNet2012のResNet18では、GMACでは0.7%のTop-1精度低下が達成され、両方のメトリクスで既存のメソッドよりも優れています。

関連論文リスト

• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Compression of Recurrent Neural Networks using Matrix Factorization [0.9208007322096533]
  本稿では,各行列に対して異なるランクを選択するランク調整法を提案する。 信号処理タスクに関する数値実験により、リカレントニューラルネットワークを1.4%の相対的性能低下で14倍まで圧縮できることが示されている。
  論文  参考訳（メタデータ） (2023-10-19T12:35:30Z)
• Approximating Continuous Convolutions for Deep Network Compression [11.566258236184964]
  本稿では,畳み込みニューラルネットワークの層を圧縮する新しい手法であるApproxConvを提案する。 提案手法では,既存の深層ネットワークモデルを半分に圧縮できるが,精度は1.86%に留まる。
  論文  参考訳（メタデータ） (2022-10-17T11:41:26Z)
• Reducing The Amortization Gap of Entropy Bottleneck In End-to-End Image Compression [2.1485350418225244]
  エンド・ツー・エンドのディープ・トレーニング可能なモデルは、ビデオや画像の従来の手作り圧縮技術の性能をほぼ上回っている。 本稿では,このアモート化ギャップを小さなコストで低減する,シンプルで効率的なインスタンスベースのパラメータ化手法を提案する。
  論文  参考訳（メタデータ） (2022-09-02T11:43:45Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。