論文の概要: KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks

• arxiv url: http://arxiv.org/abs/2101.06686v1
• Date: Sun, 17 Jan 2021 14:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 20:21:03.544789
• Title: KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks
• Title（参考訳）: KCP:Dense Labeling Neural Networkのためのカーネルクラスタプルーニング
• Authors: Po-Hsiang Yu, Sih-Sian Wu and Liang-Gee Chen
• Abstract要約: 高密度ラベリングネットワークをプルーニングするカーネルクラスタプルーニング(KCP)を提案する。 私たちの方法は、精度低下の1%未満でFLOPの70%以上を減らすことができます。 ILSVRC-2012のResNet-50では、KCPはFLOPの50%以上を削減でき、Top-1の精度は0.13%向上した。
• 参考スコア（独自算出の注目度）: 5.274653527674298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning has become a promising technique used to compress and accelerate neural networks. Existing methods are mainly evaluated on spare labeling applications. However, dense labeling applications are those closer to real world problems that require real-time processing on resource-constrained mobile devices. Pruning for dense labeling applications is still a largely unexplored field. The prevailing filter channel pruning method removes the entire filter channel. Accordingly, the interaction between each kernel in one filter channel is ignored. In this study, we proposed kernel cluster pruning (KCP) to prune dense labeling networks. We developed a clustering technique to identify the least representational kernels in each layer. By iteratively removing those kernels, the parameter that can better represent the entire network is preserved; thus, we achieve better accuracy with a decent model size and computation reduction. When evaluated on stereo matching and semantic segmentation neural networks, our method can reduce more than 70% of FLOPs with less than 1% of accuracy drop. Moreover, for ResNet-50 on ILSVRC-2012, our KCP can reduce more than 50% of FLOPs reduction with 0.13% Top-1 accuracy gain. Therefore, KCP achieves state-of-the-art pruning results.
• Abstract（参考訳）: プルーニングはニューラルネットワークの圧縮と加速に使われる有望な技術になっている。 既存の手法は主にスペアラベリングアプリケーションで評価される。 しかし、資源制約のあるモバイルデバイス上でリアルタイム処理を必要とする現実的な問題に近づきつつある。 濃密なラベリングアプリケーションに対するプルーニングは、まだほとんど探索されていない分野である。 フィルタチャネルのプルーニング方法は、フィルタチャネル全体を除去する。 したがって、1つのフィルタチャネル内の各カーネル間の相互作用は無視される。 本研究では,高密度ラベリングネットワークに対してkcp(kernel cluster pruning)を提案する。 各層における最小表現型カーネルを識別するクラスタリング手法を開発した。 これらのカーネルを反復的に除去することにより、ネットワーク全体を表現可能なパラメータを保存し、適切なモデルサイズと計算量の削減により精度を向上する。 ステレオマッチングとセマンティックセグメンテーションニューラルネットワークを用いて評価すると,精度の1%以下でFLOPの70%以上を削減できる。 さらに, ILSVRC-2012のResNet-50では, FLOPの50%以上を削減でき, トップ1の精度が0.13%向上した。 したがって、KCPは最先端の刈り取り結果を得る。

関連論文リスト

• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
  本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
  論文  参考訳（メタデータ） (2021-05-13T17:00:05Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。