論文の概要: Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis

• arxiv url: http://arxiv.org/abs/2012.15477v1
• Date: Thu, 31 Dec 2020 07:07:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:23:33.827707
• Title: Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis
• Title（参考訳）: 粒子双対平均化:大域収束率解析を用いた平均場ニューラルネットワークの最適化
• Authors: Atsushi Nitanda, Denny Wu, Taiji Suzuki
• Abstract要約: 凸最適化における二重平均法を一般化する粒子二重平均法(PDA)を提案する。 提案手法の重要な応用は, 平均場系における2層ニューラルネットワークの最適化である。 平均場限界におけるニューラルネットワークはpdaによってグローバルに最適化できることを示す。
• 参考スコア（独自算出の注目度）: 40.762447301225926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the particle dual averaging (PDA) method, which generalizes the dual averaging method in convex optimization to the optimization over probability distributions with quantitative runtime guarantee. The algorithm consists of an inner loop and outer loop: the inner loop utilizes the Langevin algorithm to approximately solve for a stationary distribution, which is then optimized in the outer loop. The method can thus be interpreted as an extension of the Langevin algorithm to naturally handle nonlinear functional on the probability space. An important application of the proposed method is the optimization of two-layer neural network in the mean field regime, which is theoretically attractive due to the presence of nonlinear feature learning, but quantitative convergence rate can be challenging to establish. We show that neural networks in the mean field limit can be globally optimized by PDA. Furthermore, we characterize the convergence rate by leveraging convex optimization theory in finite-dimensional spaces. Our theoretical results are supported by numerical simulations on neural networks with reasonable size.
• Abstract（参考訳）: 本稿では,2次平均化法を凸最適化で一般化したPDA法と,定量的ランタイム保証を伴う確率分布の最適化を提案する。 このアルゴリズムは内側ループと外側ループから構成されており、内側ループはランジュバンアルゴリズムを用いて定常分布を近似解き、外側ループで最適化される。 したがって、この方法は確率空間上の非線形汎函数を自然に扱うランゲヴィンアルゴリズムの拡張と解釈できる。 提案手法の重要な応用は, 平均場状態における2層ニューラルネットワークの最適化であり, 非線形特徴学習の存在により理論的に魅力的であるが, 定量的収束率の確立は困難である。 平均場限界におけるニューラルネットワークはpdaによってグローバルに最適化できることを示す。 さらに,有限次元空間における凸最適化理論を用いて収束率を特徴付ける。 理論的な結果は、ニューラルネットワークの適度な大きさの数値シミュレーションによって支持される。

関連論文リスト

• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation [28.413085548038932]
  本稿では,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。 理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。
  論文  参考訳（メタデータ） (2023-12-16T11:32:28Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems [0.0]
  制約付きニューラルネットワーク逆問題とは、与えられたトレーニングされたニューラルネットワークの入力値の最適なセットを見つける最適化問題を指す。 本稿では、ニューラルネットワークの逆問題に対する最適解の特性を、補正活性化ユニットを用いて解析する。 提案手法は, 予測勾配法と比較して, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2020-02-24T17:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。