論文の概要: Global Convergence in Deep Networks via the Second Law of Thermodynamics

• arxiv url: http://arxiv.org/abs/2610.24775v1
• Date: Sat, 17 Oct 2026 16:35:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:21:20.015628
• Title: Global Convergence in Deep Networks via the Second Law of Thermodynamics
• Title（参考訳）: 熱力学第二法則による深部ネットワークのグローバル収束
• Abstract要約: 熱力学の第2法則にインスパイアされた測定の不等式の変化を導入し、トレーニング力学の重要な特性の制御を可能にする。 提案手法は, 微小な近傍に重みを埋め込むことなく, NTK安定性を高い確率で維持できることを示す。 本分析では, 有限損失フロアを保証できる幅と騒音温度について, 明確な条件を導出する。
• 参考スコア（独自算出の注目度）: 27.09227750206786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing convergence analyses of finite-width overparameterized deep neural networks under standard parameterization often rely on parameters remaining close to their initialization and typically neglect the role of noise, despite empirical evidence that stochasticity can improve optimization and generalization. To bridge this gap, we study $L_2$-regularized continuous-time Langevin dynamics (CLD) with isotropic noise, for training feedforward networks with smooth activations. We introduce a change-of-measure inequality, inspired by the second law of thermodynamics, that enables control of key properties of the training dynamics under the time-evolving parameter distribution. Leveraging a sharpened lower bound on the minimum eigenvalue of the Neural Tangent Kernel (NTK) at initialization, we show that injected noise helps preserve NTK stability with high probability without confining the weights to a small neighborhood of their initialization. As a result, we derive a non-asymptotic upper bound on the expected training loss. Our analysis yields explicit conditions on width and noise temperature that guarantee convergence to a finite loss floor. Finally, we experimentally show the network Jacobian can change from initialization, departing the commonly analyzed lazy regime.
• Abstract（参考訳）: 標準パラメータ化の下での有限幅過パラメータ化された深層ニューラルネットワークの既存の収束解析は、確率性が最適化と一般化を改善するという実証的な証拠にもかかわらず、初期化に近づき続けるパラメータに依存し、通常ノイズの役割を無視する。 このギャップを埋めるため、スムーズな活性化を伴うフィードフォワードネットワークのトレーニングのために、等方性雑音を伴うL_2$-regularized continuous-time Langevin dynamics (CLD) について検討した。 熱力学の第2法則にインスパイアされた測定の不等式の変化を導入し、時間発展パラメータ分布の下でのトレーニング力学のキー特性の制御を可能にする。 初期化時のニューラル・タンジェント・カーネル(NTK)の最小固有値に対するシャープな下界を利用して、入射ノイズは、初期化の小さな近傍に重みを埋め込むことなく、高い確率でNTK安定性を維持することを示す。 その結果,トレーニング損失が予想される非漸近上界を導出した。 解析により,有限損失フロアへの収束を保証できる幅と騒音温度の明示的な条件が得られた。 最後に,ネットワークヤコビアンが初期化から変化し,一般に解析される遅延状態から脱却できることを実験的に示す。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。