論文の概要: Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks

• arxiv url: http://arxiv.org/abs/2502.16075v1
• Date: Sat, 22 Feb 2025 04:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.96825
• Title: Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
• Title（参考訳）: 非均質ディープネットワークのためのグラディエントディフレッシュのインプシットバイアス
• Authors: Yuhang Cai, Kangjie Zhou, Jingfeng Wu, Song Mei, Michael Lindsey, Peter L. Bartlett,
• Abstract要約: 指数損失下での非均一深層ネットワークに対する勾配降下(GD)の暗黙バイアスを確立する。 本研究は, 温和な近接均一性条件を満たす多種多様な非均一性ネットワークに適用した。
• 参考スコア（独自算出の注目度）: 39.38604477897272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish the asymptotic implicit bias of gradient descent (GD) for generic non-homogeneous deep networks under exponential loss. Specifically, we characterize three key properties of GD iterates starting from a sufficiently small empirical risk, where the threshold is determined by a measure of the network's non-homogeneity. First, we show that a normalized margin induced by the GD iterates increases nearly monotonically. Second, we prove that while the norm of the GD iterates diverges to infinity, the iterates themselves converge in direction. Finally, we establish that this directional limit satisfies the Karush-Kuhn-Tucker (KKT) conditions of a margin maximization problem. Prior works on implicit bias have focused exclusively on homogeneous networks; in contrast, our results apply to a broad class of non-homogeneous networks satisfying a mild near-homogeneity condition. In particular, our results apply to networks with residual connections and non-homogeneous activation functions, thereby resolving an open problem posed by Ji and Telgarsky (2020).
• Abstract（参考訳）: 指数損失下での非均一な深層ネットワークに対する勾配降下(GD)の漸近的暗黙バイアスを確立する。 具体的には,ネットワークの非均一性の測定値からしきい値が決定されるような,十分に小さな経験的リスクから始まるGDの3つの重要な特性を特徴付ける。 まず、GD反復により誘導される正規化マージンが、ほぼ単調に増加することを示す。 第二に、GD のノルムが無限大に発散する一方で、反復は向きに収束する。 最後に、この方向極限がマージン最大化問題のKKT条件を満たすことを確かめる。 それまでの暗黙バイアスの研究は、均質なネットワークにのみ焦点をあててきたが、対照的に、我々の結果は、穏やかな近均一性条件を満たす幅広い非均質なネットワークに適用される。 特に, 残差接続と非均一な活性化関数を持つネットワークに適用し, Ji and Telgarsky (2020) による開問題を解く。

関連論文リスト

• A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
  任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。 特に、文献でよく見られるように、損失関数の有界性を必要としない。 回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
  論文  参考訳（メタデータ） (2025-03-03T23:34:12Z)
• The late-stage training dynamics of (stochastic) subgradient descent on homogeneous neural networks [2.1178416840822027]
  均質ニューラルネットワークによる分類の設定について考察する。 正規化SGD反復は、後期訓練において、正規化マージンの臨界点の集合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-08T19:09:16Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On generalization bounds for deep networks based on loss surface implicit regularization [5.68558935178946]
  現代のディープニューラルネットワークは、多くのパラメータにもかかわらずよく一般化されている。 現在のディープニューラルネットワークは、多くのパラメータが古典的な統計的学習理論と矛盾するにもかかわらず、よく一般化されている。
  論文  参考訳（メタデータ） (2022-01-12T16:41:34Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Directional Convergence Analysis under Spherically Symmetric Distribution [21.145823611499104]
  勾配流や勾配降下を伴うニューラルネットワークを用いた線形予測子(すなわち、ゼロマージンの分離可能なデータセット)の学習に関する基礎的な問題を考える。 2つの隠れノードしか持たない2層非線形ネットワークと(ディープ)線形ネットワークに対して、方向収束保証と正確な収束率を示す。
  論文  参考訳（メタデータ） (2021-05-09T08:59:58Z)
• On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
  より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。 言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
  論文  参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。