Fugu-MT 論文翻訳(概要): Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise

論文の概要: Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise

arxiv url: http://arxiv.org/abs/2101.01152v3
Date: Mon, 15 Feb 2021 18:57:47 GMT
ステータス: 処理完了
システム内更新日: 2021-04-11 22:59:19.164948
Title: Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
Title（参考訳）: 逆ラベル雑音下における任意の幅のSGD学習ニューラルネットワークの確率的一般化
Authors: Spencer Frei and Yuan Cao and Quanquan Gu
Abstract要約: 勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
参考スコア（独自算出の注目度）: 85.59576523297568
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider a one-hidden-layer leaky ReLU network of arbitrary width trained by stochastic gradient descent (SGD) following an arbitrary initialization. We prove that SGD produces neural networks that have classification accuracy competitive with that of the best halfspace over the distribution for a broad class of distributions that includes log-concave isotropic and hard margin distributions. Equivalently, such networks can generalize when the data distribution is linearly separable but corrupted with adversarial label noise, despite the capacity to overfit. To the best of our knowledge, this is the first work to show that overparameterized neural networks trained by SGD can generalize when the data is corrupted with adversarial label noise.
Abstract（参考訳）: 任意初期化後の確率勾配降下(SGD)により訓練された任意の幅の1層リークReLUネットワークを考える。我々はSGDが、ログ凹凸等方性分布とハードマージン分布を含む幅広い分布の分布に対して、最適なハーフスペースの分類精度と競合するニューラルネットワークを生成することを証明した。同様に、そのようなネットワークは、データ分布が線形分離可能であるが、過度に適合する能力にもかかわらず、逆ラベルノイズで破損した場合に一般化することができる。私たちの知る限りでは、sgdがトレーニングした過パラメータニューラルネットワークが、逆ラベルノイズでデータが破損した時に一般化できることを示す最初の研究です。

関連論文リスト

Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文参考訳（メタデータ） (2024-02-18T07:49:22Z)
Benign Overfitting and Grokking in ReLU Networks for XOR Cluster Data [42.870635753205185]
勾配降下(GD)によって訓練されたニューラルネットワークは、多くの驚くべき一般化挙動を示した。これらの現象は、XORクラスタデータ上でGDによって訓練された2層ReLUネットワークにおいて、良好に発生することを示す。後続のトレーニングステップでは、ネットワークはトレーニングデータにランダムラベルをいまだに適合させながら、ほぼ最適のテスト精度を達成し、"グロッキング"現象を示す。
論文参考訳（メタデータ） (2023-10-04T02:50:34Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks [46.13404040937189]
通常、特定のモデルを持つ特定の入力に対して生成される逆例は、ニューラルネットワークにとってユビキタスである。本稿では,一段法で構築した逆方向雑音が対応するラベルを装着した場合に線形分離可能であるという,逆方向雑音の驚くべき特性を明らかにする。
論文参考訳（メタデータ） (2022-06-09T07:26:46Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
論文参考訳（メタデータ） (2022-02-11T23:04:00Z)
Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文参考訳（メタデータ） (2021-12-15T09:50:25Z)
Fine-grained Data Distribution Alignment for Post-Training Quantization [100.82928284439271]
学習後量子化の性能を高めるために,データ分散アライメント(FDDA)法を提案する。提案手法は,特に第1層と第2層が低ビットに量子化されている場合,ImageNet上での最先端性能を示す。
論文参考訳（メタデータ） (2021-09-09T11:45:52Z)
Pattern Detection in the Activation Space for Identifying Synthesized Content [8.365235325634876]
GAN(Generative Adversarial Networks)は、最近、低次元ランダムノイズからのフォトリアリスティック画像合成において、前例のない成功を収めている。高品質なコンテンツを大規模に合成する能力は、生成されたサンプルが、深刻な社会的、政治的、健康的、ビジネス上の危険をもたらす可能性のある誤情報を引き起こす可能性があるため、潜在的なリスクをもたらす。トレーニング済みニューラルネットワークの内部層における異常なノードアクティベーションのサブセットを検出することにより、生成されたコンテンツを特定するためのSubsetGANを提案する。
論文参考訳（メタデータ） (2021-05-26T11:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。