論文の概要: Soft Masking for Cost-Constrained Channel Pruning
- arxiv url: http://arxiv.org/abs/2211.02206v1
- Date: Fri, 4 Nov 2022 01:28:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 16:44:00.740417
- Title: Soft Masking for Cost-Constrained Channel Pruning
- Title（参考訳）: コスト制約チャンネルプルーニングのためのソフトマスキング
- Authors: Ryan Humble, Maying Shen, Jorge Albericio Latorre, Eric Darve1, Jose
M. Alvarez
- Abstract要約: 構造化チャネルプルーニングは、現代のハードウェア上での畳み込みニューラルネットワーク(CNN)の推論時間を著しく加速することが示されている。
最近の研究は、トレーニング中にこれらのチャネルを永久的にゼロにしており、最終的な精度を著しく損なうことが観察されている。
本稿では,コスト制約付きチャネル・プルーニング(SMCP)のためのソフト・マスキングを提案する。
- 参考スコア（独自算出の注目度）: 17.138115344464513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured channel pruning has been shown to significantly accelerate
inference time for convolution neural networks (CNNs) on modern hardware, with
a relatively minor loss of network accuracy. Recent works permanently zero
these channels during training, which we observe to significantly hamper final
accuracy, particularly as the fraction of the network being pruned increases.
We propose Soft Masking for cost-constrained Channel Pruning (SMCP) to allow
pruned channels to adaptively return to the network while simultaneously
pruning towards a target cost constraint. By adding a soft mask
re-parameterization of the weights and channel pruning from the perspective of
removing input channels, we allow gradient updates to previously pruned
channels and the opportunity for the channels to later return to the network.
We then formulate input channel pruning as a global resource allocation
problem. Our method outperforms prior works on both the ImageNet classification
and PASCAL VOC detection datasets.
- Abstract（参考訳）: 構造化チャネルプルーニングは、現代のハードウェア上での畳み込みニューラルネットワーク(CNN)の推論時間を著しく加速し、ネットワーク精度が比較的低いことが示されている。
最近の研究はトレーニング中にこれらのチャネルを永久的にゼロにしており、特にネットワークの分断が増加するにつれて最終精度が著しく低下している。
本稿では,コスト制約付きチャネル・プルーニング(SMCP)のためのソフト・マスキングを提案し,同時に目標コスト制約に向かってプルーニングしながら,プルーニングされたチャネルを適応的にネットワークに戻すことを可能にする。
入力チャネルを除去する観点から重みとチャネルプルーニングをソフトマスクで再パラメータ化することにより、以前のプルーニングチャネルへの勾配更新を可能にし、チャネルを後でネットワークに戻す機会を与える。
次に、グローバルリソース割り当て問題として入力チャネルプルーニングを定式化する。
提案手法は,ImageNet分類とPASCAL VOC検出データセットの両方において,従来よりも優れている。
関連論文リスト
- TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。
本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。
空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。
チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文 参考訳（メタデータ） (2024-04-11T15:39:10Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - Optimal channel selection with discrete QCQP [14.734454356396158]
離散QCQPによるチャネル選択を最適に行う新しいチャネル選択法を提案する。
また,実推定時間を正確に推定する2次モデルを提案する。
CIFAR-10 と ImageNet を用いた実験により,提案手法は様々なネットワークアーキテクチャ上で,他の固定インピーダンスチャネルプルーニング法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-02-24T23:26:51Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - AirNet: Neural Network Transmission over the Air [20.45405359815043]
多くのエッジアプリケーションの最先端性能はディープニューラルネットワーク(DNN)によって達成される
本稿では,新しいトレーニングと伝送方法のファミリーであるAirNetを紹介する。
AirNetは、送信電力と遅延制限の下で、DNNを無線チャネル上で効率的に配信することを可能にする。
論文 参考訳（メタデータ） (2021-05-24T09:16:04Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z) - Deep Denoising Neural Network Assisted Compressive Channel Estimation
for mmWave Intelligent Reflecting Surfaces [99.34306447202546]
本稿では,mmWave IRSシステムに対するディープデノイングニューラルネットワークを用いた圧縮チャネル推定法を提案する。
我々はまず、受信チェーンをほとんど使わず、アップリンクのユーザ-IRSチャネルを推定するハイブリッド・パッシブ/アクティブIRSアーキテクチャを導入する。
完全チャネル行列は、圧縮センシングに基づいて限られた測定値から再構成することができる。
論文 参考訳（メタデータ） (2020-06-03T12:18:57Z) - PruneNet: Channel Pruning via Global Importance [22.463154358632472]
本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。
In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
論文 参考訳（メタデータ） (2020-05-22T17:09:56Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Decentralized Learning for Channel Allocation in IoT Networks over
Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game [134.88020946767404]
本稿では,プライマリセルネットワークにライセンスされたスペクトルに基づいて,アドホックなモノのインターネットネットワークにおける分散チャネル割り当て問題について検討する。
本研究では,この問題をコンテキスト型マルチプレイヤー・マルチアームバンディットゲームにマッピングし,試行錯誤による純粋に分散化された3段階ポリシー学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-30T10:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。