論文の概要: Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs

• arxiv url: http://arxiv.org/abs/2306.06479v2
• Date: Mon, 2 Oct 2023 00:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 14:12:36.353729
• Title: Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs
• Title（参考訳）: 浅部ReLUネットワークによるニューロンの学習 : 相関入力のダイナミクスとインプシットバイアス
• Authors: Dmitry Chistikov, Matthias Englert, Ranko Lazic
• Abstract要約: 我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
• 参考スコア（独自算出の注目度）: 5.7166378791349315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove that, for the fundamental regression task of learning a single neuron, training a one-hidden layer ReLU network of any width by gradient flow from a small initialisation converges to zero loss and is implicitly biased to minimise the rank of network parameters. By assuming that the training points are correlated with the teacher neuron, we complement previous work that considered orthogonal datasets. Our results are based on a detailed non-asymptotic analysis of the dynamics of each hidden neuron throughout the training. We also show and characterise a surprising distinction in this setting between interpolator networks of minimal rank and those of minimal Euclidean norm. Finally we perform a range of numerical experiments, which corroborate our theoretical findings.
• Abstract（参考訳）: 1つのニューロンを学習する基本的な回帰タスクにおいて、小さな初期化から勾配流による任意の幅の1重層reluネットワークの訓練はゼロ損失に収束し、暗黙的にバイアスを負ってネットワークパラメータのランクを最小化することが証明される。 トレーニングポイントが教師ニューロンと相関していると仮定して,直交データセットを考慮した先行研究を補完する。 本研究は, トレーニング中, 隠れたニューロンの動態の非漸近的解析に基づいて行った。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。 最後に,様々な数値実験を行い,理論的な知見を裏付ける。

関連論文リスト

• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Early Stage Convergence and Global Convergence of Training Mildly Parameterized Neural Networks [3.148524502470734]
  トレーニングの初期段階において,損失はかなりの量減少し,この減少は急速に進行することを示す。 我々は、ニューロンの活性化パターンを顕微鏡で解析し、勾配のより強力な下界を導出するのに役立つ。
  論文  参考訳（メタデータ） (2022-06-05T09:56:50Z)
• On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons [11.119895959906085]
  密度の浅いニューラルネットワークを前提として、ランダムに選択された関数の作成、トレーニング、組み合わせに重点を置いています。 i)$ theworks' Neural kernel, $ii)$ the surrogate function' gradient, and $iii)$ surrogate functionのサンプリングと組み合わせの仕方を解析することにより、トレーニングエラーの線形収束率を証明できる。 固定されたニューロン選択確率では、サロゲートモデルの数が増えるにつれて誤差項は減少し、局所的なトレーニングステップの数が増えるにつれて増加する。
  論文  参考訳（メタデータ） (2021-12-05T19:51:14Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
  単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。 ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。 本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2020-10-29T21:43:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。