論文の概要: Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation

• arxiv url: http://arxiv.org/abs/2006.11487v3
• Date: Fri, 14 Aug 2020 05:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 22:30:50.255175
• Title: Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation
• Title（参考訳）: イテレーティブ・プルーニングのスナップショットにもっと注意を払う:エンサンブル蒸留によるモデル圧縮の改善
• Authors: Duong H. Le, Trung-Nhan Vo, Nam Thoai
• Abstract要約: 既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
• 参考スコア（独自算出の注目度）: 4.254099382808598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning is one of the most dominant methods for reducing the heavy inference cost of deep neural networks. Existing methods often iteratively prune networks to attain high compression ratio without incurring significant loss in performance. However, we argue that conventional methods for retraining pruned networks (i.e., using small, fixed learning rate) are inadequate as they completely ignore the benefits from snapshots of iterative pruning. In this work, we show that strong ensembles can be constructed from snapshots of iterative pruning, which achieve competitive performance and vary in network structure. Furthermore, we present simple, general and effective pipeline that generates strong ensembles of networks during pruning with large learning rate restarting, and utilizes knowledge distillation with those ensembles to improve the predictive power of compact models. In standard image classification benchmarks such as CIFAR and Tiny-Imagenet, we advance state-of-the-art pruning ratio of structured pruning by integrating simple l1-norm filters pruning into our pipeline. Specifically, we reduce 75-80% of total parameters and 65-70% MACs of numerous variants of ResNet architectures while having comparable or better performance than that of original networks. Code associate with this paper is made publicly available at https://github.com/lehduong/kesi.
• Abstract（参考訳）: ネットワークプルーニングは、ディープニューラルネットワークの重い推論コストを削減する最も支配的な方法の1つである。 既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 しかし,反復的刈り取りのスナップから得られる利点を完全に無視するため,従来の刈り取りネットワーク再トレーニング手法(例えば,小さな固定学習率を用いた場合)は不十分である。 本研究は, 競合性能とネットワーク構造の変化を達成し, 繰り返し刈り込みのスナップショットから, 強いアンサンブルを構築することができることを示す。 さらに,大規模学習率の再開によってネットワークの強いアンサンブルを生成する,単純で汎用的で効果的なパイプラインを提案し,これらのアンサンブルを用いた知識蒸留を用いて,コンパクトモデルの予測能力を向上させる。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。 具体的には、多数のResNetアーキテクチャの75-80%のパラメータと65-70%のMACを削減し、元のネットワークに比べて同等または優れた性能を持つ。 この論文に関連するコードはhttps://github.com/lehduong/kesi.comで公開されている。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
  機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T14:58:51Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Network Pruning via Resource Reallocation [75.85066435085595]
  rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。 PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。 実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
  論文  参考訳（メタデータ） (2021-03-02T16:28:10Z)
• Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
  私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
  論文  参考訳（メタデータ） (2020-07-30T10:03:47Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。