論文の概要: Distributed Stochastic Nonconvex Optimization and Learning based on
Successive Convex Approximation
- arxiv url: http://arxiv.org/abs/2004.14882v2
- Date: Tue, 12 May 2020 08:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 05:43:28.949370
- Title: Distributed Stochastic Nonconvex Optimization and Learning based on
Successive Convex Approximation
- Title（参考訳）: 逐次凸近似に基づく確率的非凸最適化と学習
- Authors: Paolo Di Lorenzo, Simone Scardapane
- Abstract要約: 本稿では,ネットワーク内のエージェントの総和の分散アルゴリズム最小化のための新しいフレームワークを提案する。
提案手法は分散ニューラルネットワークに適用可能であることを示す。
- 参考スコア（独自算出の注目度）: 26.11677569331688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study distributed stochastic nonconvex optimization in multi-agent
networks. We introduce a novel algorithmic framework for the distributed
minimization of the sum of the expected value of a smooth (possibly nonconvex)
function (the agents' sum-utility) plus a convex (possibly nonsmooth)
regularizer. The proposed method hinges on successive convex approximation
(SCA) techniques, leveraging dynamic consensus as a mechanism to track the
average gradient among the agents, and recursive averaging to recover the
expected gradient of the sum-utility function. Almost sure convergence to
(stationary) solutions of the nonconvex problem is established. Finally, the
method is applied to distributed stochastic training of neural networks.
Numerical results confirm the theoretical claims, and illustrate the advantages
of the proposed method with respect to other methods available in the
literature.
- Abstract（参考訳）: 分散確率的非凸最適化をマルチエージェントネットワークで検討する。
本稿では,滑らかな(多分非凸)関数(エージェントの和有効性)と凸(多分非滑らか)正規化器の期待値の和の分散最小化のための新しいアルゴリズムフレームワークを提案する。
提案手法は, 逐次凸近似(SCA)手法を応用し, エージェント間の平均勾配を追跡する機構として動的コンセンサスを活用し, 累積平均勾配を再現し, 積算効用関数の期待勾配を復元する。
非凸問題の(定常)解への収束はほぼ確実である。
最後に,ニューラルネットワークの確率的分散トレーニングに適用する。
数値結果は理論的な主張を裏付けるものであり、文献で利用可能な他の方法に関して提案手法の利点を示すものである。
関連論文リスト
- A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Variance Reduction and Low Sample Complexity in Stochastic Optimization
via Proximal Point Method [5.025654873456757]
本論文は,提案手法の収束性に関する高い確率保証を得るために,低サンプリング複雑性を確立する。
近位サブプロブレムを解くためにサブルーチンが開発され、分散還元のための新しい技術としても機能する。
論文 参考訳（メタデータ） (2024-02-14T07:34:22Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T18:54:54Z) - A Unified Convergence Theorem for Stochastic Optimization Methods [4.94128206910124]
一連の統一最適化手法に対する収束結果の導出に使用される基本的な統一収束定理を提供する。
直接応用として、一般的な設定下での収束結果をほぼ確実に回復する。
論文 参考訳（メタデータ） (2022-06-08T14:01:42Z) - A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction [2.048226951354646]
弱凸, 複合最適化問題に対する実装可能な近位点(SPP)法を開発した。
提案アルゴリズムは分散低減機構を組み込んでおり、その結果の更新は不正確なセミスムース・ニュートン・フレームワークを用いて解決される。
論文 参考訳（メタデータ） (2022-04-01T13:08:49Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。