論文の概要: Combining Relevance and Magnitude for Resource-Aware DNN Pruning
- arxiv url: http://arxiv.org/abs/2405.13088v1
- Date: Tue, 21 May 2024 11:42:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 04:22:11.858090
- Title: Combining Relevance and Magnitude for Resource-Aware DNN Pruning
- Title（参考訳）: 資源を考慮したDNNプルーニングにおける妥当性とマグニチュードの組み合わせ
- Authors: Carla Fabiana Chiasserini, Francesco Malandrino, Nuria Molner, Zhiqiang Zhao,
- Abstract要約: ニューラルネットワークのプルーニングは、精度を維持しながらパラメータの一部を削除し、機械学習パイプラインのレイテンシを低減する主要な方法の1つである。
本稿では,学習時間と推論時間を組み合わせた新しいプルーニング手法FlexRelを提案する。
性能評価の結果,FlexRelは高いプルーニング係数を達成でき,通常の精度目標に対して35%以上の帯域幅を節約できることがわかった。
- 参考スコア（独自算出の注目度）: 16.976723041143956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning neural networks, i.e., removing some of their parameters whilst retaining their accuracy, is one of the main ways to reduce the latency of a machine learning pipeline, especially in resource- and/or bandwidth-constrained scenarios. In this context, the pruning technique, i.e., how to choose the parameters to remove, is critical to the system performance. In this paper, we propose a novel pruning approach, called FlexRel and predicated upon combining training-time and inference-time information, namely, parameter magnitude and relevance, in order to improve the resulting accuracy whilst saving both computational resources and bandwidth. Our performance evaluation shows that FlexRel is able to achieve higher pruning factors, saving over 35% bandwidth for typical accuracy targets.
- Abstract（参考訳）: ニューラルネットワークのプルーニング、すなわち、精度を維持しながらパラメータの一部を削除することは、特にリソースや帯域制限のあるシナリオにおいて、機械学習パイプラインのレイテンシを低減する主要な方法の1つである。
この文脈では、取り除くパラメータをどうやって選択するかというプルーニング技術がシステム性能に不可欠である。
本稿では,計算資源と帯域幅の両方を節約しつつ,結果の精度を向上するため,FlexRelと呼ばれる新しいプルーニング手法を提案する。
性能評価の結果,FlexRelは高いプルーニング係数を達成でき,通常の精度目標に対して35%以上の帯域幅を節約できることがわかった。
関連論文リスト
- Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳（メタデータ） (2022-11-01T14:38:18Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Recurrent Neural Networks for Stochastic Control Problems with Delay [0.76146285961466]
遅延機能を有する制御問題を解くために,ディープニューラルネットワークに基づくアルゴリズムを提案し,体系的に検討する。
具体的には,ポリシをパラメータ化し,目的関数を最適化するために,シーケンスモデリングにニューラルネットワークを用いる。
提案アルゴリズムは, 線形二乗問題, 有限遅延の最適消費, 完全メモリのポートフォリオ最適化の3つのベンチマーク例で検証した。
論文 参考訳（メタデータ） (2021-01-05T07:18:47Z) - Any-Width Networks [43.98007529334065]
本稿では,推定時の速度と精度を細かく制御できる調整可能な幅CNNアーキテクチャを提案する。
我々の重要な革新は、幅の異なるバッチ統計に明示的に対処する低三角形の重み行列を使うことである。
提案したAWNが既存の手法と良好に比較でき、推論中に最大粒度制御が可能であることを実証的に実証した。
論文 参考訳（メタデータ） (2020-12-06T00:22:01Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。