論文の概要: RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2105.14797v1
• Date: Mon, 31 May 2021 08:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 16:57:13.877790
• Title: RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks
• Title（参考訳）: RED : 深部ニューラルネットワークのデータ自由構造圧縮のための冗長性を探る
• Authors: Edouard Yvinec, Arnaud Dapogny, Matthieu Cord and Kevin Bailly
• Abstract要約: 我々は、構造化プルーニングに取り組むために、データフリーで構造化された統一的なアプローチREDを提案する。 まず、同一ニューロンの数を増やすために、スカラー重量分布密度を適応的にハッシュする手法を提案する。 第2に、それらの距離によって定義される相対的類似性に基づいて、冗長ニューロンをマージすることで、ネットワークを訓練する。 第3に,畳み込み層をさらに深層化するための不均一な分離手法を提案する。
• 参考スコア（独自算出の注目度）: 36.027765880474526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) are ubiquitous in today's computer vision land-scape, despite involving considerable computational costs. The mainstream approaches for runtime acceleration consist in pruning connections (unstructured pruning) or, better, filters (structured pruning), both often requiring data to re-train the model. In this paper, we present RED, a data-free structured, unified approach to tackle structured pruning. First, we propose a novel adaptive hashing of the scalar DNN weight distribution densities to increase the number of identical neurons represented by their weight vectors. Second, we prune the network by merging redundant neurons based on their relative similarities, as defined by their distance. Third, we propose a novel uneven depthwise separation technique to further prune convolutional layers. We demonstrate through a large variety of benchmarks that RED largely outperforms other data-free pruning methods, often reaching performance similar to unconstrained, data-driven methods.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、現在のコンピュータビジョンのランドスケープにおいて、かなりの計算コストを伴うにもかかわらず、ユビキタスである。 ランタイムアクセラレーションの主流なアプローチは、接続(非構造化プルーニング)や、より優れたフィルタ(構造化プルーニング)である。 本稿では,データフリーで構造化された統一的手法であるREDについて述べる。 まず,その重みベクトルで表される同一ニューロンの数を増やすために,スカラーDNN重み分布密度の適応的ハッシュ法を提案する。 第2に、その距離によって定義される相対的類似性に基づいて冗長なニューロンをマージすることでネットワークをプルーピングする。 第3に,畳み込み層をさらに深層化するための不均一な分離手法を提案する。 さまざまなベンチマークを通じて、redが他のデータフリーなpruningメソッドを圧倒的に上回り、しばしば非制約なデータ駆動メソッドと同じようなパフォーマンスに達することを実証します。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
  これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。 本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。 本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
  論文  参考訳（メタデータ） (2023-03-01T15:12:55Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging [36.027765880474526]
  Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。 本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。 ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
  論文  参考訳（メタデータ） (2021-09-30T09:31:11Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
  Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2020-06-08T23:04:53Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。