論文の概要: Implicit Bias of (Stochastic) Gradient Descent on Deep Linear Diagonal Networks
- arxiv url: http://arxiv.org/abs/2610.39717v1
- Date: Thu, 29 Oct 2026 09:49:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.48897
- Title: Implicit Bias of (Stochastic) Gradient Descent on Deep Linear Diagonal Networks
- Title（参考訳）: 深い線形対角ネットワーク上での(確率的な)勾配の入射バイアス
- Abstract要約: 本研究では, いわゆる暗黙バイアス現象を, ディープ線形対角ネットワークのトレーニングの文脈で研究する。
従来の研究は、そのようなネットワークを学習するための勾配流が、小さいときに(ほとんど)スパース解に収束することを示した。
提案手法は、(確率的)勾配勾配を摂動的(確率的)ミラー勾配勾配として同定する。
- 参考スコア（独自算出の注目度）: 3.704483656871904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning models are often overparameterized, i.e., have more parameters than training data. This typically implies that the loss function admits multiple minimizers so that training methods (and their hyperparameter choices) have significant influence on the computed solution. We study this so-called implicit bias phenomenon in the context of training deep linear diagonal networks. Previous work has shown that the gradient flow for learning such networks converges to (almost) sparse solutions when initialized small. For an arbitrary number of layers, we extend this analysis to the practically more realistic (stochastic) gradient descent iterations. Our approach identifies (stochastic) gradient descent as a perturbed (stochastic) mirror gradient descent. This allows us to establish convergence and characterize the limiting solution, relating it to weighted $\ell_1$-minimization. Moreover, we provide sufficient conditions on the step sizes and quantify the influence of the step sizes on the implicit bias.
- Abstract（参考訳）: 現代の機械学習モデルは、しばしば過パラメータ化される。
これは典型的には、損失関数が複数の最小値を持つので、訓練方法(とそのハイパーパラメータの選択)が計算された解に重大な影響を与える。
我々は、このいわゆる暗黙バイアス現象を、深い線形対角ネットワークの訓練の文脈で研究する。
従来の研究では、そのようなネットワークを学習するための勾配流は、初期化が小さいときに(ほとんど)スパース解に収束することが示されている。
任意の数の層に対して、この解析をより現実的な(確率的な)勾配降下反復に拡張する。
提案手法は、(確率的)勾配勾配を摂動的(確率的)ミラー勾配勾配として同定する。
これにより収束を確立し、それを重み付き $\ell_1$-minimization に関連する極限解を特徴づけることができる。
さらに,ステップサイズに対する十分な条件を提供し,ステップサイズが暗黙バイアスに与える影響を定量化する。
関連論文リスト
- Convergence of gradient flow for learning convolutional neural networks [3.2960978424288463]
円錐神経ネットワークは画像認識や画像認識に広く利用されている。
勾配流は勾配降下の抽象化として解釈されることを示す。
論文 参考訳（メタデータ） (2026-01-13T13:33:48Z) - Optimization Insights into Deep Diagonal Linear Networks [10.395029724463672]
直交ニューラルネットワークのパラメータを推定するための勾配流"アルゴリズム"の暗黙的正規化特性について検討した。
我々の主な貢献は、この勾配流がモデル上のミラーフローを動的に誘導することであり、これは問題の特定の解に偏っていることを意味する。
論文 参考訳（メタデータ） (2024-12-21T20:23:47Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Implicit Bias in Deep Linear Classification: Initialization Scale vs
Training Accuracy [71.25689267025244]
移行がスケールとトレーニング損失の最小化の関係によってどのように制御されるかを示す。
以上の結果から,勾配降下の限界挙動は,ばかげた訓練精度でのみ引き起こされることが示唆された。
論文 参考訳（メタデータ） (2020-07-13T23:49:53Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。