論文の概要: Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions

• arxiv url: http://arxiv.org/abs/2209.08554v1
• Date: Sun, 18 Sep 2022 12:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 16:23:57.883667
• Title: Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions
• Title（参考訳）: CoresetsとConvex Geometryによるニューラルネットワークのプルーニング:想定外
• Authors: Murad Tukan, Loay Mualem, Alaa Maalouf
• Abstract要約: プルーニングはディープニューラルネットワーク(DNN)を圧縮するための主要なアプローチの1つである モデルの重みと入力を軽度に仮定して,そのようなコアセットを計算するための,新しい,堅牢なフレームワークを提案する。 提案手法は,既存のコアセットに基づくニューラルプルーニング手法を,幅広いネットワークやデータセットで性能的に向上させる。
• 参考スコア（独自算出の注目度）: 10.635248457021499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is one of the predominant approaches for compressing deep neural networks (DNNs). Lately, coresets (provable data summarizations) were leveraged for pruning DNNs, adding the advantage of theoretical guarantees on the trade-off between the compression rate and the approximation error. However, coresets in this domain were either data-dependent or generated under restrictive assumptions on both the model's weights and inputs. In real-world scenarios, such assumptions are rarely satisfied, limiting the applicability of coresets. To this end, we suggest a novel and robust framework for computing such coresets under mild assumptions on the model's weights and without any assumption on the training data. The idea is to compute the importance of each neuron in each layer with respect to the output of the following layer. This is achieved by a combination of L\"{o}wner ellipsoid and Caratheodory theorem. Our method is simultaneously data-independent, applicable to various networks and datasets (due to the simplified assumptions), and theoretically supported. Experimental results show that our method outperforms existing coreset based neural pruning approaches across a wide range of networks and datasets. For example, our method achieved a $62\%$ compression rate on ResNet50 on ImageNet with $1.09\%$ drop in accuracy.
• Abstract（参考訳）: プルーニングはディープニューラルネットワーク(DNN)を圧縮する主要なアプローチの1つである。 近年,圧縮率と近似誤差とのトレードオフに関する理論的保証の利点が加わり,コアセット(データ要約)がpruning dnnに活用されている。 しかし、この領域のコアセットはデータ依存か、モデルの重みと入力の両方に制限的な仮定の下で生成される。 現実のシナリオでは、そのような仮定が満たされることはほとんどなく、コアセットの適用性を制限する。 この目的のために、モデルの重みを軽視し、トレーニングデータに仮定することなく、そのようなコアセットを計算するための、新しくて堅牢なフレームワークを提案する。 その考え方は、以下の層の出力に関して各層における各ニューロンの重要性を計算することである。 これは、L\"{o}wner ellipsoid と Caratheodory の定理の組み合わせによって達成される。 提案手法はデータ独立であり,様々なネットワークやデータセットに適用可能であり,理論的にサポートされている。 実験結果から,提案手法は,既存のコアセットに基づくニューラルプルーニング手法よりも,幅広いネットワークやデータセットにおいて優れていることがわかった。 例えば、imagenet上のresnet50の圧縮レートは6,2\%$で、精度は1.09\%$である。

関連論文リスト

• Efficient Model Compression for Bayesian Neural Networks [4.179545514579061]
  本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
  論文  参考訳（メタデータ） (2024-11-01T00:07:59Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Fast, Distribution-free Predictive Inference for Neural Networks with Coverage Guarantees [25.798057062452443]
  本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。 データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
  論文  参考訳（メタデータ） (2023-06-11T04:03:58Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
  本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。 これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
  論文  参考訳（メタデータ） (2020-08-19T08:03:09Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。