論文の概要: Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching

• arxiv url: http://arxiv.org/abs/2305.18789v2
• Date: Sat, 24 Jun 2023 04:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 22:20:35.381750
• Title: Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching
• Title（参考訳）: スパース行列スケッチによるマグニチュードベースプルーニングの一般化境界
• Authors: Etash Kumar Guha, Prasanjit Dubey, Xiaoming Huo
• Abstract要約: 我々は、エラーが1つ、プルーニングによって引き起こされる近似、および2つのプルーニングモデルにおけるパラメータの数に依存するAroraなどの上に構築する。 破断された推定値は、高い確率で未破断された関数に近づき、第一基準を改善する。 我々は,MNISTおよびCIFAR10データセット上のReLU活性化フィードフォワードネットワークにおける新しい手法の有効性を実証的に検証した。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we derive a novel bound on the generalization error of Magnitude-Based pruning of overparameterized neural networks. Our work builds on the bounds in Arora et al. [2018] where the error depends on one, the approximation induced by pruning, and two, the number of parameters in the pruned model, and improves upon standard norm-based generalization bounds. The pruned estimates obtained using our new Magnitude-Based compression algorithm are close to the unpruned functions with high probability, which improves the first criteria. Using Sparse Matrix Sketching, the space of the pruned matrices can be efficiently represented in the space of dense matrices of much smaller dimensions, thereby lowering the second criterion. This leads to stronger generalization bound than many state-of-the-art methods, thereby breaking new ground in the algorithm development for pruning and bounding generalization error of overparameterized models. Beyond this, we extend our results to obtain generalization bound for Iterative Pruning [Frankle and Carbin, 2018]. We empirically verify the success of this new method on ReLU-activated Feed Forward Networks on the MNIST and CIFAR10 datasets.
• Abstract（参考訳）: 本稿では,過パラメータ化ニューラルネットワークのマグニチュード型プルーニングの一般化誤差に基づく新しい手法を導出する。 私たちの作品は、arora et alの限界に基づいている。 [2018] 誤差は1, プルーニングによる近似, および2, プルーニングモデルにおけるパラメータ数に依存し, 標準ノルムベース一般化境界により改善される。 新しいMagnitude-based compressionアルゴリズムを用いて得られたプルーンド推定値は、高い確率で未処理関数に近づき、最初の基準を改善する。 Sparse Matrix Sketching を用いて、刈り取った行列の空間は、非常に小さな次元の高密度行列の空間で効率的に表現することができ、第二基準を下げることができる。 これにより、多くの最先端手法よりも強い一般化が導かれるため、オーバーパラメータ化モデルのプルーニングおよびバウンディング一般化誤差に対するアルゴリズム開発における新たな基盤を破ることになる。 さらに、この結果を拡張してイテレーティブ・プルーニングの一般化(Frankle and Carbin, 2018)を得る。 我々は,MNISTおよびCIFAR10データセット上のReLU活性化フィードフォワードネットワークにおける新しい手法の有効性を実証的に検証した。

関連論文リスト

• Generalization and Risk Bounds for Recurrent Neural Networks [3.0638061480679912]
  我々は,バニラRNNに対する新しい一般化誤差を確立する。 我々は、様々な損失関数に適用可能なRademacher複雑性を計算する統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:49:06Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。