論文の概要: How regularization affects the geometry of loss functions
- arxiv url: http://arxiv.org/abs/2307.15744v1
- Date: Fri, 28 Jul 2023 18:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 19:46:56.197586
- Title: How regularization affects the geometry of loss functions
- Title(参考訳): 正規化が損失関数の幾何に及ぼす影響
- Authors: Nathaniel Bottman, Y. Cooper, Antonio Lerario
- Abstract要約: 我々は、異なる正則化器が滑らかな関数の幾何学にどのように影響するかを研究する。
非線形ディープニューラルネットワークの場合、非正規化損失関数$L$は通常Morseではない。
ウェイト崩壊を含むいくつかの異なる正規化器を考えるとともに、正規化関数 $L_epsilon$ が Morse となる正則化器の研究を行う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What neural networks learn depends fundamentally on the geometry of the
underlying loss function. We study how different regularizers affect the
geometry of this function. One of the most basic geometric properties of a
smooth function is whether it is Morse or not. For nonlinear deep neural
networks, the unregularized loss function $L$ is typically not Morse. We
consider several different regularizers, including weight decay, and study for
which regularizers the regularized function $L_\epsilon$ becomes Morse.
- Abstract(参考訳): ニューラルネットワークが学んだことは、基礎となる損失関数の幾何に依存する。
我々は、この関数の幾何に異なる正規化子がどのように影響するかを研究する。
滑らかな函数の最も基本的な幾何学的性質の1つは、それがモースかどうかである。
非線形深層ニューラルネットワークの場合、非正規化損失関数 $l$ は通常モースではない。
ウェイト崩壊を含むいくつかの異なる正規化器を考えるとともに、正規化関数 $L_\epsilon$ が Morse となる正則化器の研究を行う。
関連論文リスト
- Gradient Descent Fails to Learn High-frequency Functions and Modular
Arithmetic [9.455899830856543]
本稿では,勾配に基づく学習手法を用いて,限界と課題の数学的解析を行う。
我々は、周波数または素基底$p$が大きい場合、両方の場合において勾配のばらつきが無視できるほど小さいことを強調する。
論文 参考訳(メタデータ) (2023-10-19T11:33:33Z) - Solving multiscale elliptic problems by sparse radial basis function
neural networks [3.5297361401370044]
楕円偏微分方程式 (PDE) を多スケール係数で解くために, スパースラジアル基底関数ニューラルネットワーク法を提案する。
深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。
提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
論文 参考訳(メタデータ) (2023-09-01T15:11:34Z) - The Geometry of Mixability [8.873449722727026]
二項および多項の場合の混合性に関する簡易な幾何学的特徴付けを提供する。
我々のアプローチは、損失関数に関するいくつかの概念を'コーディネートフリー'な方法で扱う方法を提供する。
論文 参考訳(メタデータ) (2023-02-23T10:25:38Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - Nonparametric regression with modified ReLU networks [77.34726150561087]
ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
論文 参考訳(メタデータ) (2022-07-17T21:46:06Z) - Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。
ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2021-06-06T12:52:48Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T00:32:12Z) - Symmetry & critical points for a model shallow neural network [9.695960412426672]
我々は、2層ReLUネットワークに$kの隠れニューロンを組み込む際の最適化問題を考察する。
このようなモデルで示されるリッチ対称性を利用して、臨界点の様々な族を同定する。
ある種のスプリアスミニマの損失関数は$k-1$のようにゼロに崩壊するが、別の場合では損失関数は厳密な正の定数に収束する。
論文 参考訳(メタデータ) (2020-03-23T23:13:12Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳(メタデータ) (2020-01-13T17:28:29Z) - How Implicit Regularization of ReLU Neural Networks Characterizes the
Learned Function -- Part I: the 1-D Case of Two Layers with Random First
Layer [5.969858080492586]
重みをランダムに選択し、終端層のみをトレーニングする1次元(浅)ReLUニューラルネットワークを考える。
そのようなネットワークにおいて、L2-正則化回帰は関数空間において、かなり一般の損失汎関数に対する推定の第2微分を正則化するために対応することを示す。
論文 参考訳(メタデータ) (2019-11-07T13:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。