論文の概要: CAP: instance complexity-aware network pruning

• arxiv url: http://arxiv.org/abs/2209.03534v1
• Date: Thu, 8 Sep 2022 02:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 13:11:48.219545
• Title: CAP: instance complexity-aware network pruning
• Title（参考訳）: CAP:インスタンスの複雑性を意識したネットワークプルーニング
• Authors: Jiapeng Wang, Ming Ma and Zhenhua Yu
• Abstract要約: 本稿では,インスタンスの複雑性を考慮したフィルタ重要度スコアに基づく,シンプルで効果的な識別可能なネットワークプルーニング手法CAPを提案する。 本研究は, 各試料のインスタンスの複雑性関連重量を, 硬度試料により高い重量を与えることによって定義する。 サンプル固有のソフトマスクの重み付け和を測定し、異なる入力の不均一な寄与をモデル化し、ハードサンプルがプルーニングプロセスを支配することを奨励する。
• 参考スコア（独自算出の注目度）: 8.386192668599419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing differentiable channel pruning methods often attach scaling factors or masks behind channels to prune filters with less importance, and assume uniform contribution of input samples to filter importance. Specifically, the effects of instance complexity on pruning performance are not yet fully investigated. In this paper, we propose a simple yet effective differentiable network pruning method CAP based on instance complexity-aware filter importance scores. We define instance complexity related weight for each sample by giving higher weights to hard samples, and measure the weighted sum of sample-specific soft masks to model non-uniform contribution of different inputs, which encourages hard samples to dominate the pruning process and the model performance to be well preserved. In addition, we introduce a new regularizer to encourage polarization of the masks, such that a sweet spot can be easily found to identify the filters to be pruned. Performance evaluations on various network architectures and datasets demonstrate CAP has advantages over the state-of-the-arts in pruning large networks. For instance, CAP improves the accuracy of ResNet56 on CIFAR-10 dataset by 0.33% aftering removing 65.64% FLOPs, and prunes 87.75% FLOPs of ResNet50 on ImageNet dataset with only 0.89% Top-1 accuracy loss.
• Abstract（参考訳）: 既存の異なるチャネルプルーニング法は、重要度が低いプルーヌフィルタにスケーリング係数やマスクを付加し、入力サンプルの均一な寄与を重要度に仮定する。 具体的には、インスタンスの複雑さがpruningパフォーマンスに与える影響はまだ完全には調査されていない。 本稿では,インスタンスの複雑性を認識できるフィルタ重要度スコアに基づいて,簡易かつ効果的なネットワークプルーニング手法capを提案する。 本研究は, 試料の重み付けにより各試料のインスタンスの複雑性関連重量を定義し, 試料固有の軟質マスクの重み付け和を測定し, 異なる入力の非一様寄与をモデル化し, 硬質試料がプルーニング過程とモデル性能を支配下に置くことを奨励する。 また, マスクの偏光を促進するための新しい正則化器を導入し, スイーツスポットを見つけやすくし, 刈り取るべきフィルタを同定する。 様々なネットワークアーキテクチャとデータセットのパフォーマンス評価は、CAPが大規模ネットワークを刈り取る際の最先端技術よりも優れていることを示している。 例えば、cifar-10データセットにおけるresnet56の精度は65.64%のフロップを取り除いた後に0.33%向上し、imagenetデータセット上のresnet50の87.75%フラップは0.89%のtop-1精度損失しか得られない。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling [1.7767466724342065]
  ディープニューラルネットワークのビルディングブロックにおける適応サンプリングを用いることで、その効率が向上することを示す。 特に,サンプリング層をResNetなどの既存ネットワークに繰り返し挿入することで構築するSSBNetを提案する。 実験結果から,提案したSSBNetは,ImageNetおよびデータセット上での競合画像分類とオブジェクト検出性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2022-07-23T13:01:55Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。