論文の概要: Byzantine-Resilient Non-Convex Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2012.14368v2
- Date: Fri, 2 Apr 2021 17:25:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 10:53:02.187241
- Title: Byzantine-Resilient Non-Convex Stochastic Gradient Descent
- Title（参考訳）: Byzantine-Resilient Non-Convex Stochastic Gradient Descent
- Authors: Zeyuan Allen-Zhu, Faeze Ebrahimian, Jerry Li, Dan Alistarh
- Abstract要約: 敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
- 参考スコア（独自算出の注目度）: 61.6382287971982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study adversary-resilient stochastic distributed optimization, in which
$m$ machines can independently compute stochastic gradients, and cooperate to
jointly optimize over their local objective functions. However, an
$\alpha$-fraction of the machines are $\textit{Byzantine}$, in that they may
behave in arbitrary, adversarial ways. We consider a variant of this procedure
in the challenging $\textit{non-convex}$ case. Our main result is a new
algorithm SafeguardSGD which can provably escape saddle points and find
approximate local minima of the non-convex objective. The algorithm is based on
a new concentration filtering technique, and its sample and time complexity
bounds match the best known theoretical bounds in the stochastic, distributed
setting when no Byzantine machines are present.
Our algorithm is very practical: it improves upon the performance of all
prior methods when training deep neural networks, it is relatively lightweight,
and it is the first method to withstand two recently-proposed Byzantine
attacks.
- Abstract（参考訳）: 本研究では, 機械が独立に確率勾配を計算し, 局所的目的関数に対して協調的に最適化できる対向型確率分布最適化について検討する。
しかし、マシンの$\alpha$-fractionは$\textit{Byzantine}$であり、任意の逆向きに振舞うことができる。
この手順の変種を、挑戦的な$\textit{non-convex}$ケースで考える。
我々の主な成果は、サドルポイントを確実に回避し、非凸目的の近似局所最小値を見つけることのできる新しいアルゴリズムSafeguardSGDである。
このアルゴリズムは、新しい濃度フィルタリング技術に基づいており、そのサンプルと時間複雑性の境界は、ビザンチンマシンが存在しない確率的分散設定における最もよく知られた理論境界と一致する。
我々のアルゴリズムは非常に実用的であり、ディープニューラルネットワークをトレーニングする際のすべての先行手法の性能を改善し、比較的軽量であり、最近提案された2つのビザンツ攻撃に耐える最初の方法である。
関連論文リスト
- Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization [8.670873561640903]
分散環境下での非平滑な非平滑な目的に対する(delta,,ilon$)-定常点の有限時間解析について検討する。
$Oは分散非滑らかな最適化のための最初の有限時間保証である。
論文 参考訳（メタデータ） (2024-06-03T16:09:34Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。
本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
論文 参考訳（メタデータ） (2021-06-02T22:03:36Z) - Escaping Saddle Points in Distributed Newton's Method with Communication
efficiency and Byzantine Resilience [49.379254729853756]
我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。
キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。
提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
論文 参考訳（メタデータ） (2021-03-17T03:53:58Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。