論文の概要: A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations

• arxiv url: http://arxiv.org/abs/2308.06767v1
• Date: Sun, 13 Aug 2023 13:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 15:24:51.000482
• Title: A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations
• Title（参考訳）: deep neural network pruning-taxonomy, comparison, analysis, and recommendationsに関する調査
• Authors: Hongrong Cheng, Miao Zhang, Javen Qinfeng Shi
• Abstract要約: 現代のディープニューラルネットワークには、膨大な計算とストレージリソースを必要とする巨大なモデルサイズが伴っている。 研究者たちは、ニューラルネットワーク圧縮の一般的な研究方向として、プルーニングテクニックを探求している。 我々は,1)普遍的/特異的なスピードアップ,2)いつプーンするか,3)プーンする方法,および4)プルーニングと他の圧縮技術との融合について,ディープニューラルネットワークプルーニングに関する既存の研究成果をレビューする。
• 参考スコア（独自算出の注目度）: 23.5549895791289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks, particularly recent large language models, come with massive model sizes that require significant computational and storage resources. To enable the deployment of modern models on resource-constrained environments and accelerate inference time, researchers have increasingly explored pruning techniques as a popular research direction in neural network compression. However, there is a dearth of up-to-date comprehensive review papers on pruning. To address this issue, in this survey, we provide a comprehensive review of existing research works on deep neural network pruning in a taxonomy of 1) universal/specific speedup, 2) when to prune, 3) how to prune, and 4) fusion of pruning and other compression techniques. We then provide a thorough comparative analysis of seven pairs of contrast settings for pruning (e.g., unstructured/structured) and explore emerging topics, including post-training pruning, different levels of supervision for pruning, and broader applications (e.g., adversarial robustness) to shed light on the commonalities and differences of existing methods and lay the foundation for further method development. To facilitate future research, we build a curated collection of datasets, networks, and evaluations on different applications. Finally, we provide some valuable recommendations on selecting pruning methods and prospect promising research directions. We build a repository at https://github.com/hrcheng1066/awesome-pruning.
• Abstract（参考訳）: 現代のディープニューラルネットワーク、特に最近の大規模言語モデルには、膨大な計算とストレージリソースを必要とする巨大なモデルサイズが伴っている。 資源制約のある環境に現代的なモデルをデプロイし、推論時間を加速するために、研究者はニューラルネットワーク圧縮の一般的な研究方向としてプルーニングテクニックを探求している。 しかし、刈り込みに関する最新の総合的なレビュー論文が数多く出回っている。 この問題に対処するため、本調査では、分類学におけるディープニューラルネットワークプルーニングに関する既存の研究成果を網羅的にレビューする。 1)普遍/特定スピードアップ 2) いつpruneするか。 3)プルーネの仕方、そして 4) 刈り取りと他の圧縮技術との融合。 次に,7組のプルーニング用コントラスト設定(例えば,非構造化/構造化)の徹底的な比較分析を行い,訓練後のプルーニング,プルーニングの異なるレベルの監督,さらには既存の方法の共通性と相違を浮き彫りにするためのより広い応用(例えば,敵対的ロバスト性)など,今後の手法開発の基礎を探究する。 将来の研究を容易にするために、異なるアプリケーション上でデータセット、ネットワーク、評価のキュレーションされたコレクションを構築します。 最後に, 摘採方法の選択と今後の研究方向性について, 有望な提案を行う。 リポジトリはhttps://github.com/hrcheng1066/awesome-pruningで構築します。

関連論文リスト

• Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
  プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。 我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。 そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
  論文  参考訳（メタデータ） (2024-07-04T17:33:15Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
  これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。 本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。 本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
  論文  参考訳（メタデータ） (2023-03-01T15:12:55Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
  本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。 得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T13:43:46Z)
• A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Recommendation [70.69134448863483]
  レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。 近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
  論文  参考訳（メタデータ） (2021-04-27T08:03:52Z)
• Methods for Pruning Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのプルーニング手法について検討する。 基礎となるアプローチに基づいて150以上の研究を分類することから始まる。 スケールベースのプルーニングを使用するメソッド、冗長性を識別するクラスタリングを利用するメソッド、感度分析を使用するメソッドの3つのカテゴリに焦点を当てている。
  論文  参考訳（メタデータ） (2020-10-31T10:58:51Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Understanding the wiring evolution in differentiable neural architecture search [114.31723873105082]
  識別可能なニューラルネットワーク探索手法が配線トポロジを効果的に発見するかどうかについては議論がある。 既存の差別化可能なNASフレームワークの基盤メカニズムについて検討する。
  論文  参考訳（メタデータ） (2020-09-02T18:08:34Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。