論文の概要: Filter Sketch for Network Pruning

• arxiv url: http://arxiv.org/abs/2001.08514v4
• Date: Tue, 25 May 2021 03:12:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 13:04:47.606856
• Title: Filter Sketch for Network Pruning
• Title（参考訳）: ネットワークプルーニングのためのフィルタスケッチ
• Authors: Mingbao Lin, Liujuan Cao, Shaojie Li, Qixiang Ye, Yonghong Tian, Jianzhuang Liu, Qi Tian, Rongrong Ji
• Abstract要約: 事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
• 参考スコア（独自算出の注目度）: 184.41079868885265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel network pruning approach by information preserving of pre-trained network weights (filters). Network pruning with the information preserving is formulated as a matrix sketch problem, which is efficiently solved by the off-the-shelf Frequent Direction method. Our approach, referred to as FilterSketch, encodes the second-order information of pre-trained weights, which enables the representation capacity of pruned networks to be recovered with a simple fine-tuning procedure. FilterSketch requires neither training from scratch nor data-driven iterative optimization, leading to a several-orders-of-magnitude reduction of time cost in the optimization of pruning. Experiments on CIFAR-10 show that FilterSketch reduces 63.3% of FLOPs and prunes 59.9% of network parameters with negligible accuracy cost for ResNet-110. On ILSVRC-2012, it reduces 45.5% of FLOPs and removes 43.0% of parameters with only 0.69% accuracy drop for ResNet-50. Our code and pruned models can be found at https://github.com/lmbxmu/FilterSketch.
• Abstract（参考訳）: 本稿では,事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 情報を保存したネットワークプルーニングをマトリックススケッチ問題として定式化し、既設の頻繁方向法で効率的に解く。 提案手法はFilterSketchと呼ばれ,事前学習した重みの2次情報を符号化することで,簡易な微調整処理によりプルーンドネットワークの表現能力の回復を可能にする。 filterketchはスクラッチからのトレーニングもデータ駆動の反復最適化も必要とせず、pruningの最適化において数桁の時間コスト削減に繋がる。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%とネットワークパラメータの59.9%を削減し、ResNet-110の精度は無視できる。 ILSVRC-2012では、FLOPの45.5%を削減し、43.0%のパラメータを除去し、ResNet-50の精度はわずか0.69%である。 私たちのコードとprunedモデルはhttps://github.com/lmbxmu/filtersketchにあります。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Pruning-aware Sparse Regularization for Network Pruning [38.13617051756663]
  構造的ニューラルネットワークプルーニングは、深部畳み込みニューラルネットワーク(CNN)の冗長チャネルを取り除くことを目的としている 本稿では,これらの疎性学習に基づく手法を解析し,未処理チャネルの正規化は不要であることを示す。 そこで本研究では,プラニング対応スパース正規化を用いた新しいプルーニング手法であるMaskSparsityを提案する。
  論文  参考訳（メタデータ） (2022-01-18T07:19:23Z)
• Network Compression via Central Filter [9.585818883354449]
  本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。 CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-10T12:51:04Z)
• Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy [2.538209532048867]
  プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。 本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
  論文  参考訳（メタデータ） (2021-11-18T11:29:35Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。