論文の概要: Generalized Convexity and Smoothness via Conjugate Duality: Optimization Theory for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2608.09523v1
• Date: Mon, 10 Aug 2026 12:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.258972
• Title: Generalized Convexity and Smoothness via Conjugate Duality: Optimization Theory for Deep Neural Networks
• Title（参考訳）: 共役双対による一般化凸性と平滑性:ディープニューラルネットワークの最適化理論
• Abstract要約: 勾配降下(SGD)を用いたディープニューラルネットワーク(DNN)トレーニングとその変種は、強い経験的性能を達成する。 伝統的な分析は微分可能性、凸性、滑らかさといった仮定に依存している。 我々は,円凸非平滑性と滑らかな非平滑な目的を統一する,$mathcalH()$スムースネスと$mathcalH()$スムースネスを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network (DNN) training with stochastic gradient descent (SGD) and its variants achieves strong empirical performance, yet classical optimization theory does not fully explain this success. This limitation arises because conventional analyses rely on assumptions such as differentiability, convexity, or smoothness, which are often violated by DNN objectives. In this paper, we establish a unified optimization framework for DNN training by generalizing classical convexity and smoothness through Legendre functions and convex conjugation. Specifically, we introduce $\mathcal{H}(ψ)$-convexity and $\mathcal{H}(Ψ)$-smoothness, which unify convex and non-convex as well as smooth and non-smooth objectives within a single formalism and reveal a natural duality between generalized smoothness and convexity. Building on these generalized properties, we introduce generalized gradient descent (GD) and generalized SGD through convex conjugation. We theoretically prove that generalized GD admits an optimal learning rate of exactly $1$, and derive rigorous gradient-energy-based convergence rates for both proposed optimizers. We further reformulate DNN training as a composite optimization problem, demonstrating that its convergence relies on jointly reducing the gradient energy and controlling the induced norm of the network Jacobian. To characterize the practical influences of network architectures and training configurations, we introduce the gradient correlation factor and model capacity risk, and quantitatively analyze how architectural designs, batch size, and model capacity shape training convergence. Extensive experiments across diverse network architectures, datasets, optimizers, and loss functions validate our theoretical bounds and demonstrate precise alignment between our theoretical predictions and empirical training dynamics.
• Abstract（参考訳）: 確率勾配降下(SGD)を用いたディープニューラルネットワーク(DNN)トレーニングとその変種は、強い経験的性能を達成するが、古典的最適化理論はこの成功を十分に説明していない。 この制限は、従来の分析が微分可能性、凸性、滑らかさといった仮定に依存しており、しばしばDNNの目的に反する。 本稿では,古典的凸性と滑らかさをレジェンダ関数と凸共役によって一般化し,DNNトレーニングのための統一的な最適化フレームワークを確立する。 具体的には、単一の形式内での滑らかで非滑らかな目的と同様に凸と非凸を統一し、一般化された滑らかさと凸の自然な双対性を明らかにする、$\mathcal{H}( )$-convexity と $\mathcal{H}( )$-smoothness を導入する。 これらの一般化特性に基づいて、凸共役による一般化勾配降下(GD)と一般化SGDを導入する。 理論的には、一般化GDがちょうど$1の最適学習率を持つことを証明し、提案した最適化器の厳密な勾配エネルギーベース収束率を導出する。 さらに、DNNトレーニングを複合最適化問題として再構成し、その収束性は、勾配エネルギーを共同で低減し、ネットワークジャコビアンの誘導ノルムを制御することに依存することを示した。 ネットワークアーキテクチャとトレーニング構成の実践的影響を特徴づけるために、勾配相関係数とモデルキャパシティリスクを導入し、アーキテクチャ設計、バッチサイズ、モデルキャパシティ形状訓練の収束度を定量的に分析する。 多様なネットワークアーキテクチャ、データセット、オプティマイザ、損失関数の広範な実験は、我々の理論的境界を検証し、我々の理論的予測と経験的トレーニングダイナミクスの正確な一致を実証する。

関連論文リスト

• Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime [24.053364183688874]
  トレーニングダイナミクスはニューラルネットワークを理解する上で中心的な存在だ。 本稿では,ニューラルネットワークアーキテクチャの幅広いファミリ下での勾配降下ダイナミクス解析のための収束フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T14:00:26Z)
• Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks [0.0]
  凸共役双対性に基づく共役学習理論フレームワークを開発し,この学習性特性を特徴付ける。 我々は,ミニバッチ降下(SGD)による深層ニューラルネットワーク(DNN)のトレーニングが,経験的リスクのグローバルな最適化を実現することを実証した。 条件付き一般化エントロピー測度に基づく一般化誤差に関する決定論的および確率的境界を導出する。
  論文  参考訳（メタデータ） (2026-02-18T04:26:55Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Curvature Learning for Generalization of Hyperbolic Neural Networks [51.888534247573894]
  ハイパーボリックニューラルネットワーク(HNN)は,階層構造を持つ実世界のデータを表現する上で,顕著な有効性を示している。 不適切な曲率により、HNNは最適以下のパラメータに収束し、全体的な性能が低下する可能性がある。 本研究では,損失景観の平滑化を図り,HNNの一般化を向上するシャープネス対応曲率学習法を提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:14:30Z)
• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。