論文の概要: Optimal channel selection with discrete QCQP

• arxiv url: http://arxiv.org/abs/2202.12417v1
• Date: Thu, 24 Feb 2022 23:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 14:36:36.073788
• Title: Optimal channel selection with discrete QCQP
• Title（参考訳）: 離散QCQPを用いた最適チャネル選択
• Authors: Yeonwoo Jeong, Deokjae Lee, Gaon An, Changyong Son, Hyun Oh Song
• Abstract要約: 離散QCQPによるチャネル選択を最適に行う新しいチャネル選択法を提案する。 また,実推定時間を正確に推定する2次モデルを提案する。 CIFAR-10 と ImageNet を用いた実験により,提案手法は様々なネットワークアーキテクチャ上で,他の固定インピーダンスチャネルプルーニング法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 14.734454356396158
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reducing the high computational cost of large convolutional neural networks is crucial when deploying the networks to resource-constrained environments. We first show the greedy approach of recent channel pruning methods ignores the inherent quadratic coupling between channels in the neighboring layers and cannot safely remove inactive weights during the pruning procedure. Furthermore, due to these inactive weights, the greedy methods cannot guarantee to satisfy the given resource constraints and deviate with the true objective. In this regard, we propose a novel channel selection method that optimally selects channels via discrete QCQP, which provably prevents any inactive weights and guarantees to meet the resource constraints tightly in terms of FLOPs, memory usage, and network size. We also propose a quadratic model that accurately estimates the actual inference time of the pruned network, which allows us to adopt inference time as a resource constraint option. Furthermore, we generalize our method to extend the selection granularity beyond channels and handle non-sequential connections. Our experiments on CIFAR-10 and ImageNet show our proposed pruning method outperforms other fixed-importance channel pruning methods on various network architectures.
• Abstract（参考訳）: 大規模畳み込みニューラルネットワークの計算コストの低減は、リソース制約のある環境にネットワークをデプロイする場合に不可欠である。 まず,最近のチャネルプルーニング手法の欲張りなアプローチは,隣接層内のチャネル間の内在する二次結合を無視し,プルーニング手順中に不活性重みを安全に除去できないことを示した。 さらに、これらの不活性な重みのため、欲張りな手法は与えられた資源制約を満たし、真の目的を逸脱することを保証できない。 そこで本稿では, FLOP, メモリ使用量, ネットワークサイズの観点から, 不活性な重み付けを確実に防止し, 資源制約を満たすことを保証し, 離散QCQPを用いてチャネルを最適に選択するチャネル選択手法を提案する。 また,prunedネットワークの実際の推論時間を精度良く推定する二次モデルを提案し,資源制約オプションとして推論時間を適用できるようにした。 さらに,チャネルを超えて選択粒度を拡大し,非逐次接続を処理する手法を一般化する。 CIFAR-10 と ImageNet を用いた実験により,提案手法は様々なネットワークアーキテクチャ上で,他の固定インピーダンスチャネルプルーニング手法よりも優れていた。

関連論文リスト

• Soft Masking for Cost-Constrained Channel Pruning [17.138115344464513]
  構造化チャネルプルーニングは、現代のハードウェア上での畳み込みニューラルネットワーク(CNN)の推論時間を著しく加速することが示されている。 最近の研究は、トレーニング中にこれらのチャネルを永久的にゼロにしており、最終的な精度を著しく損なうことが観察されている。 本稿では,コスト制約付きチャネル・プルーニング(SMCP)のためのソフト・マスキングを提案する。
  論文  参考訳（メタデータ） (2022-11-04T01:28:45Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Channel Scaling: A Scale-and-Select Approach for Transfer Learning [2.6304695993930594]
  予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。 本稿では,チャネルスケーリング層を導入して,ネットワークを効率的に構築する手法を提案する。 このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。
  論文  参考訳（メタデータ） (2021-03-22T23:26:57Z)
• End-to-end learnable EEG channel selection with deep neural networks [72.21556656008156]
  本稿では,脳波チャネル選択をニューラルネットワーク自体に組み込む枠組みを提案する。 我々は、離散チャネル選択パラメータの連続緩和を用いて、この新しい最適化問題の離散的性質を扱う。 この一般的なアプローチは、2つの異なるEEGタスクで評価される。
  論文  参考訳（メタデータ） (2021-02-11T13:44:07Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。