論文の概要: Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression

• arxiv url: http://arxiv.org/abs/2003.08935v1
• Date: Thu, 19 Mar 2020 17:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 04:32:45.688396
• Title: Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
• Title（参考訳）: Group Sparsity: ネットワーク圧縮のためのフィルタプルーニングと分解の間のヒンジ
• Authors: Yawei Li, Shuhang Gu, Christoph Mayer, Luc Van Gool, and Radu Timofte
• Abstract要約: 我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
• 参考スコア（独自算出の注目度）: 145.04742985050808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we analyze two popular network compression techniques, i.e. filter pruning and low-rank decomposition, in a unified sense. By simply changing the way the sparsity regularization is enforced, filter pruning and low-rank decomposition can be derived accordingly. This provides another flexible choice for network compression because the techniques complement each other. For example, in popular network architectures with shortcut connections (e.g. ResNet), filter pruning cannot deal with the last convolutional layer in a ResBlock while the low-rank decomposition methods can. In addition, we propose to compress the whole network jointly instead of in a layer-wise manner. Our approach proves its potential as it compares favorably to the state-of-the-art on several benchmarks.
• Abstract（参考訳）: 本稿では,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的な意味で解析する。 スパルシリティ正規化の実施方法を簡単に変更することで、フィルタプルーニングと低ランク分解を導出することができる。 これは、技術が相互に補完するため、ネットワーク圧縮に別の柔軟な選択を提供する。 例えば、ショートカット接続を持つ一般的なネットワークアーキテクチャ(ResNetなど)では、フィルタプルーニングはResBlockにおける最後の畳み込み層に対処できないが、低ランク分解法は可能である。 さらに,レイヤワイドではなくネットワーク全体を共同で圧縮する手法を提案する。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。

関連論文リスト

• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• MINT: Deep Network Compression via Mutual Information-based Neuron Trimming [32.449324736645586]
  Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
  論文  参考訳（メタデータ） (2020-03-18T21:05:02Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。