論文の概要: Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning

• arxiv url: http://arxiv.org/abs/2203.02651v1
• Date: Sat, 5 Mar 2022 03:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 14:38:58.617892
• Title: Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning
• Title（参考訳）: フィルタプルーニングのためのアンサンブル知識誘導サブネットワーク探索と微調整
• Authors: Seunghyun Lee, Byung Cheol Song
• Abstract要約: 本稿では,Ensemble Knowledge Guidance (EKG) と呼ばれる新しいサブネットワーク検索と微調整手法を提案する。 EKGは簡単にプラグインでき、計算効率が良い。例えばResNet-50の場合、FLOPSの約45%は、わずか315GPU時間でパフォーマンスが低下することなく削除される。
• 参考スコア（独自算出の注目度）: 34.25936778566903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional NAS-based pruning algorithms aim to find the sub-network with the best validation performance. However, validation performance does not successfully represent test performance, i.e., potential performance. Also, although fine-tuning the pruned network to restore the performance drop is an inevitable process, few studies have handled this issue. This paper proposes a novel sub-network search and fine-tuning method that is named Ensemble Knowledge Guidance (EKG). First, we experimentally prove that the fluctuation of the loss landscape is an effective metric to evaluate the potential performance. In order to search a sub-network with the smoothest loss landscape at a low cost, we propose a pseudo-supernet built by an ensemble sub-network knowledge distillation. Next, we propose a novel fine-tuning that re-uses the information of the search phase. We store the interim sub-networks, that is, the by-products of the search phase, and transfer their knowledge into the pruned network. Note that EKG is easy to be plugged-in and computationally efficient. For example, in the case of ResNet-50, about 45% of FLOPS is removed without any performance drop in only 315 GPU hours. The implemented code is available at https://github.com/sseung0703/EKG.
• Abstract（参考訳）: 従来のnasベースのプルーニングアルゴリズムは、最高の検証性能を持つサブネットワークを見つけることを目的としている。 しかし、検証性能はテスト性能、すなわち潜在的なパフォーマンスをうまく表さない。 また、性能低下を回復するために刈り取られたネットワークを微調整することは避けられないプロセスであるが、この問題を扱う研究はほとんどない。 本稿では,Ensemble Knowledge Guidance (EKG) と呼ばれる新しいサブネットワーク検索と微調整手法を提案する。 まず,損失景観のゆらぎが潜在的な性能を評価する有効な指標であることを実験的に証明する。 最も滑らかな損失景観を持つサブネットワークを低コストで探索するために,アンサンブルサブネットワーク知識蒸留により構築した疑似スーパーネットを提案する。 次に,検索段階の情報を再利用する新しい微調整手法を提案する。 我々は、中間サブネットワーク、すなわち検索フェーズの副産物を格納し、それらの知識を刈り取られたネットワークに転送する。 EKGは簡単にプラグインでき、計算効率が良いことに注意。 例えば、ResNet-50の場合、FLOPSの約45%は、わずか315GPU時間でパフォーマンスが低下することなく削除される。 実装されたコードはhttps://github.com/sseung0703/EKGで入手できる。

関連論文リスト

• Information Consistent Pruning: How to Efficiently Search for Sparse Networks? [5.524804393257921]
  反復等級プルーニング法(IMP)は、ディープニューラルネットワーク(DNN)における重要なノード数を減らすことに成功している。 プルーニングネットワークにおけるIMPの人気にもかかわらず、既存のIMPアルゴリズムの基本的な制限は、各プルーニング勾配に必要なトレーニング時間である。 本稿では,ネットワーク層間の情報やフローをモニタし,トレーニング時間を最小化するIMPのための新しいテキストトッピング基準を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:40:59Z)
• Learning effective pruning at initialization from iterative pruning [15.842658282636876]
  本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。 提案手法は, 既存手法よりも高スパース性設定で優れる。 ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-27T03:17:52Z)
• Network Pruning Spaces [12.692532576302426]
  ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。 この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-19T06:52:05Z)
• AP: Selective Activation for De-sparsifying Pruned Neural Networks [25.84452767219292]
  動的デッドニューロン速度 (DNR) という用語で定量化するReLUが導入した空間性は, 刈り取られたネットワークにとって有益ではない。 これにより,刈り取られたネットワークの動的DNRを明示的に低減する手法を提案する。 人気ネットワーク(例えばResNet, VGG)を2つの古典的および3つの最先端プルーニング手法を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-09T14:49:15Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。