論文の概要: Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and
Clustering-Based CNN Filter Pruning Method without Parameters Setting
- arxiv url: http://arxiv.org/abs/2006.04451v2
- Date: Fri, 30 Apr 2021 07:33:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 02:02:05.936037
- Title: Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and
Clustering-Based CNN Filter Pruning Method without Parameters Setting
- Title（参考訳）: 新たな適応二元探索手法-パラメータ設定のないハイブリッドピラミッドとクラスタリングに基づくCNNフィルタの抽出法
- Authors: Kuo-Liang Chung, Yu-Lun Chang, and Bo-Wei Tsai
- Abstract要約: CNNモデルにおける冗長フィルタの実行は注目されている。
本稿では,フィルタの自動刈取のための適応二分探索ファーストハイブリッドピラミッドとクラスタリングベース (ABS HPC) 手法を提案する。
実際のデータセットとCNNモデルに基づいて、より高精度な実験結果により、提案手法の有意なパラメータと浮動小数点演算の低減効果が示された。
- 参考スコア（独自算出の注目度）: 3.7468898363447654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning redundant filters in CNN models has received growing attention. In
this paper, we propose an adaptive binary search-first hybrid pyramid- and
clustering-based (ABSHPC-based) method for pruning filters automatically. In
our method, for each convolutional layer, initially a hybrid pyramid data
structure is constructed to store the hierarchical information of each filter.
Given a tolerant accuracy loss, without parameters setting, we begin from the
last convolutional layer to the first layer; for each considered layer with
less or equal pruning rate relative to its previous layer, our ABSHPC-based
process is applied to optimally partition all filters to clusters, where each
cluster is thus represented by the filter with the median root mean of the
hybrid pyramid, leading to maximal removal of redundant filters. Based on the
practical dataset and the CNN models, with higher accuracy, the thorough
experimental results demonstrated the significant parameters and floating-point
operations reduction merits of the proposed filter pruning method relative to
the state-of-the-art methods.
- Abstract（参考訳）: CNNモデルにおける冗長フィルタの実行は注目されている。
本稿では,フィルタの自動プルーニングのための適応型バイナリ検索ファーストハイブリッドピラミッドとクラスタリングベース(ABSHPC)を提案する。
本手法では,各畳み込み層に対して,まず,各フィルタの階層情報を格納するハイブリッドピラミッドデータ構造を構築する。
パラメータ設定なしでは,最終畳み込み層から第1層への耐久精度損失を考慮し,各層が前層と比較してプルーニング率の低い,あるいは同等であると考えられる層に対して,ABSHPCをベースとしたプロセスを適用し,全てのフィルタをクラスタに最適に分割し,各クラスタをハイブリッドピラミッドの中央値根平均でフィルタで表現し,冗長フィルタの最大除去を実現する。
実用的なデータセットとcnnモデルに基づいて,より精度の高い精度で,提案手法に対するフィルタプルーニング法の重要なパラメータと浮動小数点演算の利点を実証した。
関連論文リスト
- A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs [2.188091591747149]
全体ネットワークフィルタプルーニングアルゴリズムは、各層から異なるフィルタ分を抽出するので、柔軟性が向上する。
本稿では,全ネットワークフィルタプルーニングにおける2段階階層的手法を提案する。
本稿では,ResNext101のRAM要件を7.6GBから1.5GBに削減し,CIFAR-10の精度を損なうことなくFLOPSの94%削減を実現する。
論文 参考訳（メタデータ） (2024-08-22T03:59:57Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳（メタデータ） (2023-07-01T02:28:41Z) - Focus Your Attention (with Adaptive IIR Filters) [62.80628327613344]
本稿では2次インパルス応答(IIR)フィルタを用いて入力シーケンスを動的に処理する新しい層を提案する。
比較的低次であるにもかかわらず、因果適応フィルタは関連する配列要素に注目することが示されている。
論文 参考訳（メタデータ） (2023-05-24T09:42:30Z) - Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている
我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。
実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
論文 参考訳（メタデータ） (2023-04-26T09:18:38Z) - Maximum margin learning of t-SPNs for cell classification with filtered
input [19.66983830788521]
t-SPNアーキテクチャはマージンを最大化することで学習される。
L2-regularization (REG) は学習過程における最大限界(MM)基準とともに検討される。
HEp-2 と Feulgen のベンチマークデータセットでは,正則化による最大マルジン基準に基づいて t-SPN アーキテクチャを学習した。
論文 参考訳（メタデータ） (2023-03-16T03:45:46Z) - Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。
Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。
提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
論文 参考訳（メタデータ） (2022-06-16T13:58:58Z) - Unsharp Mask Guided Filtering [53.14430987860308]
本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。
アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。
我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
論文 参考訳（メタデータ） (2021-06-02T19:15:34Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - MINT: Deep Network Compression via Mutual Information-based Neuron
Trimming [32.449324736645586]
Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。
MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。
ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
論文 参考訳（メタデータ） (2020-03-18T21:05:02Z) - Clustering Binary Data by Application of Combinatorial Optimization
Heuristics [52.77024349608834]
本稿では,2値データのクラスタリング手法について検討し,まず,クラスタのコンパクトさを計測するアグリゲーション基準を定義した。
近隣地域と人口動態最適化メタヒューリスティックスを用いた5つの新しいオリジナル手法が導入された。
準モンテカルロ実験によって生成された16のデータテーブルから、L1の相似性と階層的クラスタリング、k-means(メドイドやPAM)の1つのアグリゲーションの比較を行う。
論文 参考訳（メタデータ） (2020-01-06T23:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。