論文の概要: Robustness to Pruning Predicts Generalization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2103.06002v1
• Date: Wed, 10 Mar 2021 11:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 23:04:23.841576
• Title: Robustness to Pruning Predicts Generalization in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの一般化予測に対するロバスト性
• Authors: Lorenz Kuhn, Clare Lyle, Aidan N. Gomez, Jonas Rothfuss, Yarin Gal
• Abstract要約: トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
• 参考スコア（独自算出の注目度）: 29.660568281957072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing generalization measures that aim to capture a model's simplicity based on parameter counts or norms fail to explain generalization in overparameterized deep neural networks. In this paper, we introduce a new, theoretically motivated measure of a network's simplicity which we call prunability: the smallest \emph{fraction} of the network's parameters that can be kept while pruning without adversely affecting its training loss. We show that this measure is highly predictive of a model's generalization performance across a large set of convolutional networks trained on CIFAR-10, does not grow with network size unlike existing pruning-based measures, and exhibits high correlation with test set loss even in a particularly challenging double descent setting. Lastly, we show that the success of prunability cannot be explained by its relation to known complexity measures based on models' margin, flatness of minima and optimization speed, finding that our new measure is similar to -- but more predictive than -- existing flatness-based measures, and that its predictions exhibit low mutual information with those of other baselines.
• Abstract（参考訳）: パラメータ数やノルムに基づいてモデルの単純さを捉えることを目的とした既存の一般化尺度は、過剰パラメータのディープニューラルネットワークにおける一般化の説明に失敗している。 本論文では, ネットワークの単純性について, 理論的に動機づけた新たな尺度について紹介する。prunability: the minimum \emph{fraction} of the network's parameters that can keep while pruning without affectly influence its training loss. ネットワークパラメータの最小の \emph{fraction} と呼ぶ。 本手法は,CIFAR-10で訓練された大規模な畳み込みネットワーク上でのモデルの一般化性能を高い精度で予測し,既存のプルーニングベース手法と異なりネットワークサイズで成長せず,特に困難な二重降下条件下でもテストセットの損失と高い相関性を示す。 最後に, プルーナビリティの成功は, モデルマージン, ミニマの平坦度, 最適化速度に基づく既知の複雑性尺度との関係から説明できないこと, 新たな尺度が既存の平坦度に基づく尺度と類似していること, および, その予測が他のベースラインと低い相互情報を示すことを明らかにする。

関連論文リスト

• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Robust Neural Regression via Uncertainty Learning [5.654198773446211]
  ディープニューラルネットワークは不確実性を過小評価し、過度に自信を持って予測する傾向がある。 一般化線形回帰法において、時間的反復重み付き最小二乗(IRLS)を拡張して簡単な解を提案する。 我々は2つのサブネットワークを用いて予測と不確実性推定をパラメトリズし、複雑な入力と非線形応答を容易に扱えるようにした。
  論文  参考訳（メタデータ） (2021-10-12T23:19:13Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
  ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
  論文  参考訳（メタデータ） (2021-03-04T13:22:16Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。