論文の概要: Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape

• arxiv url: http://arxiv.org/abs/2305.19510v1
• Date: Wed, 31 May 2023 02:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:46:26.891824
• Title: Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape
• Title（参考訳）: 軽度過パラメータのreluネットワークは、好適なロスランドスケープを持つ
• Authors: Kedar Karhadkar, Michael Murray, Hanna Tseran, Guido Mont\'ufar
• Abstract要約: パラメータ化されたReLUニューラルネットワークの2乗誤差損失に対する一般有限入力データセット上での損失状況について検討した。 我々のアプローチは、パラメータ化写像のヤコビアン階数を用いて局所小集合と大域小集合の次元を境界付けることである。
• 参考スコア（独自算出の注目度）: 1.0323063834827413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the loss landscape of two-layer mildly overparameterized ReLU neural networks on a generic finite input dataset for the squared error loss. Our approach involves bounding the dimension of the sets of local and global minima using the rank of the Jacobian of the parameterization map. Using results on random binary matrices, we show most activation patterns correspond to parameter regions with no bad differentiable local minima. Furthermore, for one-dimensional input data, we show most activation regions realizable by the network contain a high dimensional set of global minima and no bad local minima. We experimentally confirm these results by finding a phase transition from most regions having full rank to many regions having deficient rank depending on the amount of overparameterization.
• Abstract（参考訳）: 本研究では,2層超過パラメータReLUニューラルネットワークの損失状況について,一般有限入力データセットを用いて検討した。 我々のアプローチは、パラメータ化写像のヤコビアン階数を用いて局所小集合と大域小集合の次元を境界付けることである。 ランダムな二分行列の結果を用いて、ほとんどのアクティベーションパターンがパラメータ領域に対応し、悪い微分可能な局所最小値を持たないことを示す。 さらに、1次元の入力データに対して、ネットワークによって実現可能なほとんどの活性化領域は、高次元のグローバルミニマと悪いローカルミニマを含むことを示す。 オーバーパラメトリゼーションの量によって、フルランクのほとんどの領域から、フルランクの多くの領域への位相遷移を求めることにより、これらの結果が実験的に確認される。

関連論文リスト

• Diffusion-based Data Augmentation for Object Counting Problems [62.63346162144445]
  拡散モデルを用いて広範なトレーニングデータを生成するパイプラインを開発する。 拡散モデルを用いて位置ドットマップ上に条件付き画像を生成するのはこれが初めてである。 提案した拡散モデルにおけるカウント損失は,位置ドットマップと生成した群集画像との差を効果的に最小化する。
  論文  参考訳（メタデータ） (2024-01-25T07:28:22Z)
• Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization [4.418361486640713]
  大域ミニマ付近の2層ニューラルネットワークにおける損失景観の幾何学について検討する。 一般化誤差ゼロの大域的ミニマが、サンプルサイズが大きくなるにつれて、他の大域的ミニマと幾何的に分離されるかを示す。
  論文  参考訳（メタデータ） (2023-09-01T14:53:51Z)
• Semi-signed neural fitting for surface reconstruction from unoriented point clouds [53.379712818791894]
  より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。 SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。 我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
  論文  参考訳（メタデータ） (2022-06-14T09:40:17Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• The loss landscape of deep linear neural networks: a second-order analysis [9.85879905918703]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Fully reversible neural networks for large-scale surface and sub-surface characterization via remote sensing [4.383011485317949]
  ハイパースペクトルおよび空中磁気および重力データの大規模な空間/周波数スケールは、(サブ)表面のキャラクタリゼーションに畳み込みニューラルネットワークを使用する場合、メモリ問題を引き起こす。 本研究は,高スペクトル時間ラプスデータによる土地利用変化検出の例と,空中地学的・地質学的データによる地域帯水層マッピングの例を示す。
  論文  参考訳（メタデータ） (2020-03-16T23:54:22Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory [4.976129960952446]
  一層ReLUネットワークの場合、すべての微分可能な局所ミニマが大域的に微分可能な領域内に存在することが証明される。 これらの局所的なミニマは、データ間の相互作用、隠れたニューロンの活性化パターン、ネットワークサイズに応じて、孤立点または連続した超平面となりうることを示す。
  論文  参考訳（メタデータ） (2020-02-12T02:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。