Fugu-MT 論文翻訳(概要): Using noise resilience for ranking generalization of deep neural networks

論文の概要: Using noise resilience for ranking generalization of deep neural networks

arxiv url: http://arxiv.org/abs/2012.08854v1
Date: Wed, 16 Dec 2020 10:50:34 GMT
ステータス: 処理完了
システム内更新日: 2021-05-03 03:08:51.492466
Title: Using noise resilience for ranking generalization of deep neural networks
Title（参考訳）: 深層ニューラルネットワークのランキング一般化におけるノイズレジリエンスの利用
Authors: Depen Morwani, Rahul Vashisht, Harish G. Ramaswamy
Abstract要約: トレーニングデータとそのパラメータからネットワークの一般化誤差を予測するためのいくつかの手法を提案する。この手法の1つを用いて,NeurIPS 2020における深層学習(PGDL)競争の予測一般化において,ネットワークの耐雑音性に基づいて第5位を確保した。
参考スコア（独自算出の注目度）: 2.9263047269622784
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent papers have shown that sufficiently overparameterized neural networks can perfectly fit even random labels. Thus, it is crucial to understand the underlying reason behind the generalization performance of a network on real-world data. In this work, we propose several measures to predict the generalization error of a network given the training data and its parameters. Using one of these measures, based on noise resilience of the network, we secured 5th position in the predicting generalization in deep learning (PGDL) competition at NeurIPS 2020.
Abstract（参考訳）: 近年の論文では、十分な過パラメータのニューラルネットワークがランダムラベルにも完全に適合できることが示されている。したがって、実世界のデータ上でのネットワークの一般化性能の背景となる理由を理解することが重要である。本研究では,トレーニングデータとそのパラメータからネットワークの一般化誤差を予測するためのいくつかの手法を提案する。この手法の1つを用いて,NeurIPS 2020における深層学習(PGDL)競争の予測一般化において,ネットワークの耐雑音性に基づいて第5位を確保した。

関連論文リスト

TDNetGen: Empowering Complex Network Resilience Prediction with Generative Augmentation of Topology and Dynamics [14.25304439234864]
本稿では,ネットワークトポロジとダイナミックスの生成的データ拡張を通じてこの問題に対処するために設計された,複雑なネットワークに対する新しいレジリエンス予測フレームワークを提案する。 3つのネットワークデータセットの実験結果から,提案するフレームワークであるTDNetGenは,最大85%～95%の精度で高い予測精度を達成可能であることが示された。
論文参考訳（メタデータ） (2024-08-19T09:20:31Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文参考訳（メタデータ） (2023-04-19T16:39:44Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文参考訳（メタデータ） (2021-12-08T16:17:33Z)
Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文参考訳（メタデータ） (2021-06-09T01:37:36Z)
Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks [9.43712471169533]
まず、完全連結、残留ネットワーク(ResNet)、密結合ネットワーク(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化について述べる。本研究では,2層ネットワークであるprioritwoとresnetcitee 2019prioriresの集団リスクの誤差解析をdrknetに拡張し,一定の軽度条件を満たすニューラルネットワークでは同様の推定が得られることを示す。
論文参考訳（メタデータ） (2021-03-30T13:54:33Z)
Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文参考訳（メタデータ） (2020-10-29T15:05:43Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。