論文の概要: Improved Convergence Guarantees for Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2212.02323v1
• Date: Mon, 5 Dec 2022 14:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 18:08:35.217193
• Title: Improved Convergence Guarantees for Shallow Neural Networks
• Title（参考訳）: 浅層ニューラルネットワークの収束保証の改善
• Authors: Alexander Razborov
• Abstract要約: 勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We continue a long line of research aimed at proving convergence of depth 2 neural networks, trained via gradient descent, to a global minimum. Like in many previous works, our model has the following features: regression with quadratic loss function, fully connected feedforward architecture, RelU activations, Gaussian data instances and network initialization, adversarial labels. It is more general in the sense that we allow both layers to be trained simultaneously and at {\em different} rates. Our results improve on state-of-the-art [Oymak Soltanolkotabi 20] (training the first layer only) and [Nguyen 21, Section 3.2] (training both layers with Le Cun's initialization). We also report several simple experiments with synthetic data. They strongly suggest that, at least in our model, the convergence phenomenon extends well beyond the ``NTK regime''.
• Abstract（参考訳）: 我々は、勾配降下によって訓練された深さ2のニューラルネットワークの収束をグローバルに最小化することを目的とした長い研究を継続する。 これまでの多くの研究と同様に、我々のモデルは2次損失関数による回帰、完全に接続されたフィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、ネットワーク初期化、逆ラベルといった特徴を持っている。 両方の層を同時に、そして、異なる速度でトレーニングできるという意味では、より一般的である。 以上の結果から,[oymak soltanolkotabi 20] (第1層のみを訓練) と[nguyen 21 section 3.2] (le cun の初期化で両層を訓練) が改善した。 また,合成データを用いた簡単な実験もいくつか報告した。 彼らは、少なくとも我々のモデルでは、収束現象は ``ntk regime''' を超えると強く示唆している。

関連論文リスト

• Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
  解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。 以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。 どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
  論文  参考訳（メタデータ） (2024-10-24T20:15:45Z)
• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
  収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。 ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。 まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
  論文  参考訳（メタデータ） (2024-10-07T10:16:40Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer [5.969858080492586]
  重みをランダムに選択し、終端層のみをトレーニングする1次元(浅)ReLUニューラルネットワークを考える。 そのようなネットワークにおいて、L2-正則化回帰は関数空間において、かなり一般の損失汎関数に対する推定の第2微分を正則化するために対応することを示す。
  論文  参考訳（メタデータ） (2019-11-07T13:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。