論文の概要: Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2106.02914v1
• Date: Sat, 5 Jun 2021 15:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:29:43.248314
• Title: Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
• Title（参考訳）: 特徴フローの正規化:ディープニューラルネットワークにおける構造的空間性の改善
• Authors: Yue Wu, Yuan Lan, Luchan Zhang, Yang Xiang
• Abstract要約: プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である 特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。 VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
• 参考スコア（独自算出の注目度）: 12.541769091896624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning is a model compression method that removes redundant parameters in deep neural networks (DNNs) while maintaining accuracy. Most available filter pruning methods require complex treatments such as iterative pruning, features statistics/ranking, or additional optimization designs in the training process. In this paper, we propose a simple and effective regularization strategy from a new perspective of evolution of features, which we call feature flow regularization (FFR), for improving structured sparsity and filter pruning in DNNs. Specifically, FFR imposes controls on the gradient and curvature of feature flow along the neural network, which implicitly increases the sparsity of the parameters. The principle behind FFR is that coherent and smooth evolution of features will lead to an efficient network that avoids redundant parameters. The high structured sparsity obtained from FFR enables us to prune filters effectively. Experiments with VGGNets, ResNets on CIFAR-10/100, and Tiny ImageNet datasets demonstrate that FFR can significantly improve both unstructured and structured sparsity. Our pruning results in terms of reduction of parameters and FLOPs are comparable to or even better than those of state-of-the-art pruning methods.
• Abstract（参考訳）: プルーニング(Pruning)は、ディープニューラルネットワーク(DNN)の冗長パラメータを精度を維持しながら除去するモデル圧縮手法である。 ほとんどのフィルタープルーニング法は、反復プルーニング、統計/ランク付け、トレーニングプロセスにおける追加の最適化設計などの複雑な処理を必要とする。 本稿では,dnnにおける構造的スパルサリティとフィルタプルーニングを改善するため,機能の進化の新しい視点から,機能フローの正規化(ffr)と呼ばれる簡易かつ効果的な規則化戦略を提案する。 具体的には、FFRはニューラルネットワークに沿った特徴フローの勾配と曲率を制御し、パラメータの間隔を暗黙的に増加させる。 ffrの背後にある原則は、機能の一貫性とスムーズな進化が冗長なパラメータを避ける効率的なネットワークにつながることである。 FFRから得られる高構造空間により,フィルタのプーンを効果的に行うことができる。 vggnets、cifar-10/100のresnets、小さなimagenetデータセットによる実験では、ffrが非構造化と構造化の両方を著しく改善できることが示されている。 我々のプルーニングはパラメータの削減の点で、FLOPは最先端のプルーニング法と同等かそれ以上に優れている。

関連論文リスト

• Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
  本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
  論文  参考訳（メタデータ） (2023-03-17T02:38:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• RGP: Neural Network Pruning through Its Regular Graph Structure [6.0686251332936365]
  本稿では,ニューラルネットワークのグラフ構造について検討し,レギュラーグラフベースプルーニング(RGP)を提案し,ワンショットニューラルネットワークプルーニングを行う。 実験の結果,グラフの平均最短経路長は,対応するニューラルネットワークの分類精度と負の相関が認められた。
  論文  参考訳（メタデータ） (2021-10-28T15:08:32Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。