論文の概要: A Novel Architecture Slimming Method for Network Pruning and Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2202.10461v1
• Date: Mon, 21 Feb 2022 12:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 14:55:23.562538
• Title: A Novel Architecture Slimming Method for Network Pruning and Knowledge Distillation
• Title（参考訳）: ネットワークプルーニングと知識蒸留のための新しい構造スリム化法
• Authors: Dongqi Wang and Shengyu Zhang and Zhipeng Di and Xin Lin and Weihua Zhou and Fei Wu
• Abstract要約: 本稿では,レイヤ構成プロセスを自動化するアーキテクチャスリム化手法を提案する。 本手法は, 浸漬, 蒸留後, ベースラインよりも顕著な性能向上を示した。 驚くべきことに、結果として生じる層ワイド圧縮速度は、既存の研究で見られる層感度と一致している。
• 参考スコア（独自算出の注目度）: 30.39128740788747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning and knowledge distillation are two widely-known model compression methods that efficiently reduce computation cost and model size. A common problem in both pruning and distillation is to determine compressed architecture, i.e., the exact number of filters per layer and layer configuration, in order to preserve most of the original model capacity. In spite of the great advances in existing works, the determination of an excellent architecture still requires human interference or tremendous experimentations. In this paper, we propose an architecture slimming method that automates the layer configuration process. We start from the perspective that the capacity of the over-parameterized model can be largely preserved by finding the minimum number of filters preserving the maximum parameter variance per layer, resulting in a thin architecture. We formulate the determination of compressed architecture as a one-step orthogonal linear transformation, and integrate principle component analysis (PCA), where the variances of filters in the first several projections are maximized. We demonstrate the rationality of our analysis and the effectiveness of the proposed method through extensive experiments. In particular, we show that under the same overall compression rate, the compressed architecture determined by our method shows significant performance gain over baselines after pruning and distillation. Surprisingly, we find that the resulting layer-wise compression rates correspond to the layer sensitivities found by existing works through tremendous experimentations.
• Abstract（参考訳）: ネットワークプルーニングと知識蒸留は、計算コストとモデルサイズを効率的に削減する2つの一般的なモデル圧縮手法である。 プルーニングと蒸留の両方の一般的な問題は、圧縮されたアーキテクチャ、すなわち、オリジナルのモデルのキャパシティのほとんどを維持するために、層ごとのフィルタの正確な数と層構成を決定することである。 既存の作品の大きな進歩にもかかわらず、優れたアーキテクチャの決定には人間の干渉や膨大な実験が必要である。 本稿では,レイヤ構成プロセスを自動化するアーキテクチャスリム化手法を提案する。 オーバパラメータ化モデルのキャパシティは、層ごとのパラメータ分散を最大に保ったフィルタの最小個を求めることで、ほぼ保存できるという観点から始める。 圧縮アーキテクチャの決定を一段階直交線形変換として定式化し、最初の数回の射影におけるフィルタの分散を最大化する原理成分分析(pca)を統合する。 本研究は,本解析の合理性と提案手法の有効性を広範な実験により実証する。 特に, 全体的な圧縮速度において, 本手法で決定される圧縮アーキテクチャは, プルーニングおよび蒸留後のベースラインに対して有意な性能向上を示した。 驚くべきことに、結果として生じる層ワイド圧縮速度は、既存の研究で見いだされた層感度に対応している。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
  学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。 成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。 本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-10T11:00:26Z)
• Effective Layer Pruning Through Similarity Metric Perspective [0.0]
  ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。 これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。 層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。 この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-27T11:54:51Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Make Deep Networks Shallow Again [6.647569337929869]
  余剰接続の概念によってブレークスルーが達成されている。 残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。 言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
  論文  参考訳（メタデータ） (2023-09-15T14:18:21Z)
• STD-NET: Search of Image Steganalytic Deep-learning Architecture via Hierarchical Tensor Decomposition [40.997546601209145]
  STD-NETは階層的テンソル分解による教師なしディープラーニングアーキテクチャ探索手法である。 提案手法は,従来のステガナティックネットワーク圧縮法に比べて効率が高く,冗長性も高い。
  論文  参考訳（メタデータ） (2022-06-12T03:46:08Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。