Fugu-MT 論文翻訳(概要): How regularization affects the geometry of loss functions

論文の概要: How regularization affects the geometry of loss functions

arxiv url: http://arxiv.org/abs/2307.15744v1
Date: Fri, 28 Jul 2023 18:00:21 GMT
ステータス: 処理完了
システム内更新日: 2023-08-01 19:46:56.197586
Title: How regularization affects the geometry of loss functions
Title（参考訳）: 正規化が損失関数の幾何に及ぼす影響
Authors: Nathaniel Bottman, Y. Cooper, Antonio Lerario
Abstract要約: 我々は、異なる正則化器が滑らかな関数の幾何学にどのように影響するかを研究する。非線形ディープニューラルネットワークの場合、非正規化損失関数$L$は通常Morseではない。ウェイト崩壊を含むいくつかの異なる正規化器を考えるとともに、正規化関数 $L_epsilon$ が Morse となる正則化器の研究を行う。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: What neural networks learn depends fundamentally on the geometry of the underlying loss function. We study how different regularizers affect the geometry of this function. One of the most basic geometric properties of a smooth function is whether it is Morse or not. For nonlinear deep neural networks, the unregularized loss function $L$ is typically not Morse. We consider several different regularizers, including weight decay, and study for which regularizers the regularized function $L_\epsilon$ becomes Morse.
Abstract（参考訳）: ニューラルネットワークが学んだことは、基礎となる損失関数の幾何に依存する。我々は、この関数の幾何に異なる正規化子がどのように影響するかを研究する。滑らかな函数の最も基本的な幾何学的性質の1つは、それがモースかどうかである。非線形深層ニューラルネットワークの場合、非正規化損失関数 $l$ は通常モースではない。ウェイト崩壊を含むいくつかの異なる正規化器を考えるとともに、正規化関数 $L_\epsilon$ が Morse となる正則化器の研究を行う。

関連論文リスト

The Optimization Landscape of SGD Across the Feature Learning Strength [102.1353410293931]
オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2024-10-06T22:30:14Z)
Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
論文参考訳（メタデータ） (2024-09-26T16:02:13Z)
How DNNs break the Curse of Dimensionality: Compositionality and Symmetry Learning [9.302851743819339]
ディープニューラルネットワーク(DNN)は,有界な$F_1$-normで任意の関数の合成を効率的に学習できることを示す。スケーリング法則を経験的に計算し、$g$か$h$のどちらを学ぶのが難しいかによって相転移を観察する。
論文参考訳（メタデータ） (2024-07-08T06:59:29Z)
Gradient Descent Fails to Learn High-frequency Functions and Modular Arithmetic [8.813846754606898]
本稿では,勾配に基づく学習手法を用いて,限界と課題の数学的解析を行う。我々は、周波数または素基底$p$が大きい場合、両方の場合において勾配のばらつきが無視できるほど小さいことを強調する。
論文参考訳（メタデータ） (2023-10-19T11:33:33Z)
Solving multiscale elliptic problems by sparse radial basis function neural networks [3.5297361401370044]
楕円偏微分方程式 (PDE) を多スケール係数で解くために, スパースラジアル基底関数ニューラルネットワーク法を提案する。深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
論文参考訳（メタデータ） (2023-09-01T15:11:34Z)
The Geometry of Mixability [8.873449722727026]
二項および多項の場合の混合性に関する簡易な幾何学的特徴付けを提供する。我々のアプローチは、損失関数に関するいくつかの概念を'コーディネートフリー'な方法で扱う方法を提供する。
論文参考訳（メタデータ） (2023-02-23T10:25:38Z)
The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文参考訳（メタデータ） (2022-12-23T04:48:04Z)
Nonparametric regression with modified ReLU networks [77.34726150561087]
ネットワーク重み行列を入力ベクトルに乗じる前に,まず関数$alpha$で修正したReLUニューラルネットワークによる回帰推定を考察する。
論文参考訳（メタデータ） (2022-07-17T21:46:06Z)
Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
論文参考訳（メタデータ） (2021-06-06T12:52:48Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Symmetry & critical points for a model shallow neural network [9.695960412426672]
我々は、2層ReLUネットワークに$kの隠れニューロンを組み込む際の最適化問題を考察する。このようなモデルで示されるリッチ対称性を利用して、臨界点の様々な族を同定する。ある種のスプリアスミニマの損失関数は$k-1$のようにゼロに崩壊するが、別の場合では損失関数は厳密な正の定数に収束する。
論文参考訳（メタデータ） (2020-03-23T23:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。