論文の概要: Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data

• arxiv url: http://arxiv.org/abs/2310.01975v1
• Date: Tue, 3 Oct 2023 11:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 14:39:56.603082
• Title: Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data
• Title（参考訳）: XORデータのための2層ReLU畳み込みニューラルネットワークの良性オーバーフィッティング
• Authors: Xuran Meng, Difan Zou, Yuan Cao
• Abstract要約: 勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。 以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
• 参考スコア（独自算出の注目度）: 24.86314525762012
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern deep learning models are usually highly over-parameterized so that they can overfit the training data. Surprisingly, such overfitting neural networks can usually still achieve high prediction accuracy. To study this "benign overfitting" phenomenon, a line of recent works has theoretically studied the learning of linear models and two-layer neural networks. However, most of these analyses are still limited to the very simple learning problems where the Bayes-optimal classifier is linear. In this work, we investigate a class of XOR-type classification tasks with label-flipping noises. We show that, under a certain condition on the sample complexity and signal-to-noise ratio, an over-parameterized ReLU CNN trained by gradient descent can achieve near Bayes-optimal accuracy. Moreover, we also establish a matching lower bound result showing that when the previous condition is not satisfied, the prediction accuracy of the obtained CNN is an absolute constant away from the Bayes-optimal rate. Our result demonstrates that CNNs have a remarkable capacity to efficiently learn XOR problems, even in the presence of highly correlated features.
• Abstract（参考訳）: 現代のディープラーニングモデルは通常、過度にパラメータ化され、トレーニングデータに過度に適合する。 驚くべきことに、このような過剰なニューラルネットワークは、通常、高い予測精度を達成できる。 この「良性過剰適合」現象を研究するために、最近の一連の研究は線形モデルと二層ニューラルネットワークの学習を理論的に研究した。 しかし、これらの分析のほとんどは、ベイズ最適分類器が線形である非常に単純な学習問題に限定されている。 本研究では,ラベルフリッピングノイズを伴うxor型分類タスクのクラスについて検討する。 サンプルの複雑さと信号対雑音比の一定の条件下では,勾配降下により訓練された過度パラメータ化されたReLU CNNがベイズ最適精度付近で達成可能であることを示す。 さらに、前回の条件が満たされていない場合、得られたCNNの予測精度がベイズ最適速度から絶対定数であることを示す、一致した下界結果も確立する。 以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。

関連論文リスト

• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Lost Vibration Test Data Recovery Using Convolutional Neural Network: A Case Study [0.0]
  本稿では,アラモサキャニオン橋のCNNアルゴリズムを実構造として提案する。 3つの異なるCNNモデルは、1つと2つの故障したセンサーを予測するものとされた。 畳み込み層を追加することによりモデルの精度が向上した。
  論文  参考訳（メタデータ） (2022-04-11T23:24:03Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Analytic Learning of Convolutional Neural Network For Pattern Recognition [20.916630175697065]
  バックプロパゲーション(BP)を用いた学習畳み込みニューラルネットワーク(CNN)は、時間とリソースを消費する。 解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 ACnnLは、その類似した閉形式解を構築するが、正規化の制約が異なる。
  論文  参考訳（メタデータ） (2022-02-14T06:32:21Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。