論文の概要: Weight-dependent Gates for Network Pruning

• arxiv url: http://arxiv.org/abs/2007.02066v4
• Date: Sat, 14 May 2022 11:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:38:10.573417
• Title: Weight-dependent Gates for Network Pruning
• Title（参考訳）: ネットワークプルーニングのための重み依存ゲート
• Authors: Yun Li, Zechun Liu, Weiqun Wu, Haotian Yao, Xiangyu Zhang, Chi Zhang, Baoqun Yin
• Abstract要約: 本論では, 刈り取り決定は畳み込み重みに依存するべきであり, フィルタ重みから情報を学習し, フィルタのプーンや保持を自動的に行うための二分ゲートを得るための新しい重み依存ゲート (W-Gates) を提案する。 我々は,提案手法の有効性をResNet34,ResNet50,MobileNet V2で実証した。
• 参考スコア（独自算出の注目度）: 24.795174721078528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, a simple yet effective network pruning framework is proposed to simultaneously address the problems of pruning indicator, pruning ratio, and efficiency constraint. This paper argues that the pruning decision should depend on the convolutional weights, and thus proposes novel weight-dependent gates (W-Gates) to learn the information from filter weights and obtain binary gates to prune or keep the filters automatically. To prune the network under efficiency constraints, a switchable Efficiency Module is constructed to predict the hardware latency or FLOPs of candidate pruned networks. Combined with the proposed Efficiency Module, W-Gates can perform filter pruning in an efficiency-aware manner and achieve a compact network with a better accuracy-efficiency trade-off. We have demonstrated the effectiveness of the proposed method on ResNet34, ResNet50, and MobileNet V2, respectively achieving up to 1.33/1.28/1.1 higher Top-1 accuracy with lower hardware latency on ImageNet. Compared with state-of-the-art methods, W-Gates also achieves superior performance.
• Abstract（参考訳）: 本稿では,プルーニングインジケータ,プルーニング比,効率制約の問題を同時に解決するための,シンプルで効果的なネットワークプルーニングフレームワークを提案する。 本論では, 刈取決定は畳み込み重みに依存するべきであり, フィルタ重みから情報を学習し, フィルタのプーンや保持を自動的に行うための二分ゲートを得るための新しい重み依存ゲート (W-Gates) を提案する。 効率制約下でネットワークをプルークするために、ハードウェアの遅延やFLOPを予測するために、スイッチ可能な効率モジュールが構築される。 提案した効率モジュールと組み合わせることで、W-Gatesは効率に配慮したフィルタプルーニングを行い、精度と効率のトレードオフを向上したコンパクトネットワークを実現することができる。 resnet34, resnet50, mobilenet v2における提案手法の有効性を実証し,imagenet上でのハードウェアレイテンシを低減し,最大1.33/1.28/1.1高いtop-1精度を実現した。 最先端の手法と比較して、W-Gatesは性能も優れている。

関連論文リスト

• UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
  Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。 本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。 我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
  論文  参考訳（メタデータ） (2024-05-29T06:53:18Z)
• Efficient Modulation for Vision Networks [122.1051910402034]
  我々は、効率的なビジョンネットワークのための新しい設計である効率的な変調を提案する。 変調機構が特に効率的なネットワークに適していることを実証する。 私たちのネットワークは、精度と効率のトレードオフをうまく達成できます。
  論文  参考訳（メタデータ） (2024-03-29T03:48:35Z)
• Layer-adaptive Structured Pruning Guided by Latency [7.193554978191659]
  構造化プルーニングはネットワークアーキテクチャを単純化し、推論速度を改善する。 本研究では,大域的重要度スコアSP-LAMPを非構造的プルーニングから構造的プルーニングに導出することで,大域的重要度スコアSP-LAMPを提案する。 CIFAR10におけるResNet56の実験結果から,我々のアルゴリズムは代替手法に比べて低レイテンシを実現することが示された。
  論文  参考訳（メタデータ） (2023-05-23T11:18:37Z)
• Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
  本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。 本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
  論文  参考訳（メタデータ） (2023-01-26T12:32:01Z)
• Logic Shrinkage: Learned FPGA Netlist Sparsity for Efficient Neural Network Inference [3.2296078260106174]
  本稿では,LUTに基づくトポロジの学習最適化を提案する。 既存のアーキテクチャの実装では、LUT, Kあたりの入力数を手動で指定する必要がある。 本稿では,FPGA推論を対象とするニューラルネットワークにおいて,各LUTに対してKを自動的に学習することのできる,詳細なネットリスト解析手法である論理縮小手法を提案する。
  論文  参考訳（メタデータ） (2021-12-04T14:23:24Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity [0.0]
  ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。 ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。 我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
  論文  参考訳（メタデータ） (2021-07-05T22:36:57Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。