論文の概要: What is the State of Neural Network Pruning?

• arxiv url: http://arxiv.org/abs/2003.03033v1
• Date: Fri, 6 Mar 2020 05:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:46:02.271112
• Title: What is the State of Neural Network Pruning?
• Title（参考訳）: ニューラルネットワークのプルーニング状態とは何か?
• Authors: Davis Blalock, Jose Javier Gonzalez Ortiz, Jonathan Frankle, John Guttag
• Abstract要約: 我々は, 刈り取りへのアプローチの概観を含む, 文献のメタ分析を行う。 コミュニティは、標準化されたベンチマークとメトリクスの欠如に悩まされています。 我々は,プルーニング手法の標準化評価を容易にするオープンソースフレームワークであるShrinkBenchを紹介する。
• 参考スコア（独自算出の注目度）: 12.50128492336137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning---the task of reducing the size of a network by removing parameters---has been the subject of a great deal of work in recent years. We provide a meta-analysis of the literature, including an overview of approaches to pruning and consistent findings in the literature. After aggregating results across 81 papers and pruning hundreds of models in controlled conditions, our clearest finding is that the community suffers from a lack of standardized benchmarks and metrics. This deficiency is substantial enough that it is hard to compare pruning techniques to one another or determine how much progress the field has made over the past three decades. To address this situation, we identify issues with current practices, suggest concrete remedies, and introduce ShrinkBench, an open-source framework to facilitate standardized evaluations of pruning methods. We use ShrinkBench to compare various pruning techniques and show that its comprehensive evaluation can prevent common pitfalls when comparing pruning methods.
• Abstract（参考訳）: ニューラルネットワークのプルーニング - パラメータを除去することでネットワークのサイズを小さくするタスク- は、近年多くの作業の対象となっている。 文献のメタ分析を行い, 刈り取りへのアプローチの概要と文献における一貫した発見について概説する。 81の論文に結果を集計し、制御された環境で数百のモデルを掘り下げた結果、コミュニティが標準ベンチマークやメトリクスの欠如に苦しんでいることが明らかになりました。 この不足は十分に深刻であり、刈り取りのテクニックを互いに比較したり、この分野が過去30年間にどれほど進歩したかを決定することは困難である。 このような状況に対処するため,現状の課題を特定し,具体的な対策を提案し,プルーニング手法の標準化評価を容易にするオープンソースフレームワークであるchreshbenchを導入する。 我々はShrinkBenchを用いて様々な刈り込み技術を比較し、その総合的な評価が刈り込み手法の比較において共通の落とし穴を防ぐことを示す。

関連論文リスト

• Adversarial Pruning: A Survey and Benchmark of Pruning Methods for Adversarial Robustness [16.623648447423438]
  近年の研究では、敵の例に対する堅牢性を保ちながら、ネットワークのサイズを小さくするニューラルネットワークプルーニング技術が提案されている。 これらの手法には複雑で明瞭な設計が含まれており、違いを分析して公正かつ正確な比較を確立することは困難である。 そこで我々は,パイプライン,いつ産卵するべきか,具体例,どのように産卵するべきかという2つの主要な次元に基づいて分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T13:34:01Z)
• Towards Evaluating Transfer-based Attacks Systematically, Practically, and Fairly [79.07074710460012]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。 ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。 30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
  論文  参考訳（メタデータ） (2023-11-02T15:35:58Z)
• ThinResNet: A New Baseline for Structured Convolutional Networks Pruning [1.90298817989995]
  プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。 本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
  論文  参考訳（メタデータ） (2023-09-22T13:28:18Z)
• Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning [58.34310957892895]
  ニューラルネットワークのプルーニングの状況は、しばらくの間不明瞭で、混乱することさえあることに気付きました。 まず, 刈り取り実験における公正性原理を明らかにし, 広く利用されている比較設定を要約する。 そして,ネットワークのトレーニング性の中心的役割を指摘する。
  論文  参考訳（メタデータ） (2023-01-12T18:58:33Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Methods for Pruning Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのプルーニング手法について検討する。 基礎となるアプローチに基づいて150以上の研究を分類することから始まる。 スケールベースのプルーニングを使用するメソッド、冗長性を識別するクラスタリングを利用するメソッド、感度分析を使用するメソッドの3つのカテゴリに焦点を当てている。
  論文  参考訳（メタデータ） (2020-10-31T10:58:51Z)
• Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle [0.8043754868448141]
  プルーニングは、特定の重量の除去に伴う損失関数の変化を近似するプルーニングサリエンシによって誘導される。 多くのプルーニング信号が提案されているが、それぞれの性能は訓練されたネットワークに依存している。 本稿では, プリミティブ・プルーニング・サリエンシを構成する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-03T11:29:41Z)
• Modeling of Pruning Techniques for Deep Neural Networks Simplification [8.75217589103206]
  畳み込みニューラルネットワーク(CNN)は、計算複雑性やパラメータの数など、さまざまな問題に悩まされている。 近年,CNNにおける操作数やモデルサイズの削減にプルーニング技術が用いられている。 様々なテクニックやトリックがプルーニングメソッドを伴い、すべてのプルーニングメソッドをモデル化する統一的なフレームワークは存在しない。
  論文  参考訳（メタデータ） (2020-01-13T04:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。