論文の概要: Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance

• arxiv url: http://arxiv.org/abs/2410.16151v1
• Date: Mon, 21 Oct 2024 16:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:36.892077
• Title: Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance
• Title（参考訳）: スモールコントリビューション、スモールネットワーク:相対的重要性に基づく効率的なニューラルネットワークプルーニング
• Authors: Mostafa Hussien, Mahmoud Afifi, Kim Khoa Nguyen, Mohamed Cheriet,
• Abstract要約: 本稿では,アクティベーション統計に基づく直感的で解釈可能なプルーニング手法を提案する。 我々は,データセット全体にわたる重み付けの分布を構築し,そのパラメータを用いて刈り取りプロセスのガイドを行う。 提案手法は,いくつかのベースラインおよび最先端プルーニング技術より一貫して優れる。
• 参考スコア（独自算出の注目度）: 25.579863542008646
• License:
• Abstract: Recent advancements have scaled neural networks to unprecedented sizes, achieving remarkable performance across a wide range of tasks. However, deploying these large-scale models on resource-constrained devices poses significant challenges due to substantial storage and computational requirements. Neural network pruning has emerged as an effective technique to mitigate these limitations by reducing model size and complexity. In this paper, we introduce an intuitive and interpretable pruning method based on activation statistics, rooted in information theory and statistical analysis. Our approach leverages the statistical properties of neuron activations to identify and remove weights with minimal contributions to neuron outputs. Specifically, we build a distribution of weight contributions across the dataset and utilize its parameters to guide the pruning process. Furthermore, we propose a Pruning-aware Training strategy that incorporates an additional regularization term to enhance the effectiveness of our pruning method. Extensive experiments on multiple datasets and network architectures demonstrate that our method consistently outperforms several baseline and state-of-the-art pruning techniques.
• Abstract（参考訳）: 最近の進歩は、ニューラルネットワークを前例のない規模に拡張し、幅広いタスクで顕著なパフォーマンスを実現している。 しかしながら、これらの大規模モデルをリソース制約のあるデバイスにデプロイすることは、かなりのストレージと計算要求のために大きな課題となる。 ニューラルネットワークのプルーニングは、モデルのサイズと複雑さを減らしてこれらの制限を緩和する効果的な手法として登場した。 本稿では,情報理論と統計解析に根ざした,アクティベーション統計に基づく直感的で解釈可能なプルーニング手法を提案する。 我々のアプローチは、ニューロンの活性化の統計的性質を利用して、ニューロンの出力に最小限の寄与で重みを識別し、除去する。 具体的には,データセット全体にわたる重み付けの分布を構築し,そのパラメータを用いて刈り取りプロセスのガイドを行う。 さらに,本手法の有効性を高めるために,新たな正規化項を組み込んだPruning-aware Training戦略を提案する。 複数のデータセットとネットワークアーキテクチャに関する大規模な実験により、我々の手法はいくつかのベースラインおよび最先端のプルーニング技術より一貫して優れていることが示された。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Latent Network Structure Learning from High Dimensional Multivariate Point Processes [5.079425170410857]
  本研究では,観測データの基盤となる複雑な過程を特徴付けるために,非定常ホークスプロセスの新たなクラスを提案する。 効率のよい最小二乗推定手法を用いて潜在ネットワーク構造を推定する。 シミュレーション研究を通じて提案手法の有効性を実証し, ニューロンスパイクトレインデータセットへの適用について述べる。
  論文  参考訳（メタデータ） (2020-04-07T17:48:01Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。