Fugu-MT 論文翻訳(概要): Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey

論文の概要: Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey

arxiv url: http://arxiv.org/abs/2005.04275v1
Date: Fri, 8 May 2020 20:12:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-05 11:59:14.010712
Title: Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
Title（参考訳）: エッジアプリケーションのための畳み込みニューラルネットワークを高速化するpruningアルゴリズム:調査
Authors: Jiayi Liu, Samarth Tripathi, Unmesh Kurup, Mohak Shah
Abstract要約: CNNモデルから非臨界ニューロンや冗長ニューロンを除去する主要な圧縮戦略であるPruningに関する包括的調査を提供する。調査では、プルーニングの全体的動機、異なる戦略と基準、その利点と欠点、および主要なプルーニングテクニックのコンパイルについて取り上げている。
参考スコア（独自算出の注目度）: 7.406752785334195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the general trend of increasing Convolutional Neural Network (CNN) model sizes, model compression and acceleration techniques have become critical for the deployment of these models on edge devices. In this paper, we provide a comprehensive survey on Pruning, a major compression strategy that removes non-critical or redundant neurons from a CNN model. The survey covers the overarching motivation for pruning, different strategies and criteria, their advantages and drawbacks, along with a compilation of major pruning techniques. We conclude the survey with a discussion on alternatives to pruning and current challenges for the model compression community.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)モデルのサイズが増大する一般的な傾向により、モデル圧縮とアクセラレーション技術は、これらのモデルをエッジデバイスにデプロイするために重要になっている。本稿では,cnnモデルから非臨界または冗長なニューロンを除去する主要な圧縮戦略であるpruningについて,包括的調査を行う。調査は、プルーニングの全体的なモチベーション、さまざまな戦略と基準、そのメリットと欠点、主要なプルーニングテクニックのまとめなどをカバーしている。モデル圧縮コミュニティにおける刈り取りの代替策と現在の課題について,本調査を締めくくった。

関連論文リスト

Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
論文参考訳（メタデータ） (2024-07-04T17:33:15Z)
Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文参考訳（メタデータ） (2023-12-03T13:50:24Z)
Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。これにより、ディープニューラルネットワークの効率が著しく向上する。
論文参考訳（メタデータ） (2023-08-12T00:16:51Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance [37.82255888371488]
本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2022-07-08T18:27:42Z)
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning [0.1529342790344802]
いくつかの不規則なプルーニングスキームと8ビット量子化法により生成されたモデルの対角的ロバスト性について検討する。このプルーニング法により,非圧縮モデルからの攻撃に対して耐性のあるモデルが得られることが判明した。
論文参考訳（メタデータ） (2022-06-15T09:13:35Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文参考訳（メタデータ） (2021-06-24T12:23:05Z)
Emerging Paradigms of Neural Network Pruning [82.9322109208353]
この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
論文参考訳（メタデータ） (2021-03-11T05:01:52Z)
Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文参考訳（メタデータ） (2020-03-31T16:47:20Z)
Modeling of Pruning Techniques for Deep Neural Networks Simplification [8.75217589103206]
畳み込みニューラルネットワーク(CNN)は、計算複雑性やパラメータの数など、さまざまな問題に悩まされている。近年,CNNにおける操作数やモデルサイズの削減にプルーニング技術が用いられている。様々なテクニックやトリックがプルーニングメソッドを伴い、すべてのプルーニングメソッドをモデル化する統一的なフレームワークは存在しない。
論文参考訳（メタデータ） (2020-01-13T04:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。