論文の概要: Using noise resilience for ranking generalization of deep neural
networks
- arxiv url: http://arxiv.org/abs/2012.08854v1
- Date: Wed, 16 Dec 2020 10:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 03:08:51.492466
- Title: Using noise resilience for ranking generalization of deep neural
networks
- Title(参考訳): 深層ニューラルネットワークのランキング一般化におけるノイズレジリエンスの利用
- Authors: Depen Morwani, Rahul Vashisht, Harish G. Ramaswamy
- Abstract要約: トレーニングデータとそのパラメータからネットワークの一般化誤差を予測するためのいくつかの手法を提案する。
この手法の1つを用いて,NeurIPS 2020における深層学習(PGDL)競争の予測一般化において,ネットワークの耐雑音性に基づいて第5位を確保した。
- 参考スコア(独自算出の注目度): 2.9263047269622784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent papers have shown that sufficiently overparameterized neural networks
can perfectly fit even random labels. Thus, it is crucial to understand the
underlying reason behind the generalization performance of a network on
real-world data. In this work, we propose several measures to predict the
generalization error of a network given the training data and its parameters.
Using one of these measures, based on noise resilience of the network, we
secured 5th position in the predicting generalization in deep learning (PGDL)
competition at NeurIPS 2020.
- Abstract(参考訳): 近年の論文では、十分な過パラメータのニューラルネットワークがランダムラベルにも完全に適合できることが示されている。
したがって、実世界のデータ上でのネットワークの一般化性能の背景となる理由を理解することが重要である。
本研究では,トレーニングデータとそのパラメータからネットワークの一般化誤差を予測するためのいくつかの手法を提案する。
この手法の1つを用いて,NeurIPS 2020における深層学習(PGDL)競争の予測一般化において,ネットワークの耐雑音性に基づいて第5位を確保した。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Generalization Error Bounds for Iterative Recovery Algorithms Unfolded
as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。
層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文 参考訳(メタデータ) (2021-12-08T16:17:33Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for
Neural Networks [9.43712471169533]
まず、完全連結、残留ネットワーク(ResNet)、密結合ネットワーク(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化について述べる。
本研究では,2層ネットワークであるprioritwoとresnetcitee 2019prioriresの集団リスクの誤差解析をdrknetに拡張し,一定の軽度条件を満たすニューラルネットワークでは同様の推定が得られることを示す。
論文 参考訳(メタデータ) (2021-03-30T13:54:33Z) - Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。
この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
論文 参考訳(メタデータ) (2021-03-10T11:39:14Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳(メタデータ) (2020-10-29T15:05:43Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。