論文の概要: Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience

• arxiv url: http://arxiv.org/abs/2103.09424v1
• Date: Wed, 17 Mar 2021 03:53:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 09:38:52.962449
• Title: Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience
• Title（参考訳）: 通信効率とビザンチンレジリエンスを考慮した分散ニュートン法におけるサドル点のエスケープ
• Authors: Avishek Ghosh, Raj Kumar Maity, Arya Mazumdar, Kannan Ramchandran
• Abstract要約: 我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。 キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。 提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
• 参考スコア（独自算出の注目度）: 49.379254729853756
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We study the problem of optimizing a non-convex loss function (with saddle points) in a distributed framework in the presence of Byzantine machines. We consider a standard distributed setting with one central machine (parameter server) communicating with many worker machines. Our proposed algorithm is a variant of the celebrated cubic-regularized Newton method of Nesterov and Polyak \cite{nest}, which avoids saddle points efficiently and converges to local minima. Furthermore, our algorithm resists the presence of Byzantine machines, which may create \emph{fake local minima} near the saddle points of the loss function, also known as saddle-point attack. We robustify the cubic-regularized Newton algorithm such that it avoids the saddle points and the fake local minimas efficiently. Furthermore, being a second order algorithm, the iteration complexity is much lower than its first order counterparts, and thus our algorithm communicates little with the parameter server. We obtain theoretical guarantees for our proposed scheme under several settings including approximate (sub-sampled) gradients and Hessians. Moreover, we validate our theoretical findings with experiments using standard datasets and several types of Byzantine attacks.
• Abstract（参考訳）: 本研究では,ビザンチンマシンの存在下で分散フレームワークにおける非凸損失関数(サドル点付き)の最適化の問題について検討する。 1台の中央マシン(パラメータサーバ)が多数のワーカマシンと通信する標準的な分散設定を考える。 提案手法は,サドル点を効率的に回避し局所極小に収束するネステロフとポリakの立方体正規化ニュートン法(newton method of nesterov and polyak \cite{nest})の変種である。 さらに, 本アルゴリズムは, 損失関数の鞍点近傍に \emph{fake local minima} を生成できるビザンチンマシンの存在に抵抗する。 我々は, 3次正規化ニュートンアルゴリズムを, サドル点や偽局所ミニマを効率よく回避できるように堅牢化する。 さらに,第2次アルゴリズムである反復複雑性は第1次アルゴリズムよりもはるかに小さく,パラメータサーバとはほとんど通信しない。 提案手法は, 近似勾配やヘッシアンなどいくつかの条件下で理論的に保証される。 さらに, 標準データセットといくつかのビザンチン攻撃を用いて実験を行い, 理論的知見を検証した。

関連論文リスト

• Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
  パラメータの平滑化に適応的な更新戦略を導入する。 この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。 すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
  論文  参考訳（メタデータ） (2024-06-22T02:37:13Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms [125.99533416395765]
  本稿では,サドル点問題の分散最適化に着目する。 本論文は,本研究における分散手法の有効性を実験的に示すものである。
  論文  参考訳（メタデータ） (2020-10-25T13:13:44Z)
• ByGARS: Byzantine SGD with Arbitrary Number of Attackers [8.987350240289757]
  ビザンツの敵対者の存在下で分散機械学習のための2つの新しい計算アルゴリズムを提案する。 これらのアルゴリズムでは、評価スコアワーカはサーバの補助データセットを使用して計算される。 提案アルゴリズムは,複数種類の攻撃に対して同時に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T01:47:13Z)
• Distributed Newton Can Communicate Less and Resist Byzantine Workers [31.271927533726842]
  本研究では,作業機械のビザンチン故障に対して頑健かつ通信効率のよい分散二階最適化アルゴリズムを開発した。 我々はCOMRADEの収束の線形二乗速度を確立し、通信の節約とビザンチンのレジリエンスが任意の凸損失関数に対して小さな統計的誤差率しか得られないことを確立する。
  論文  参考訳（メタデータ） (2020-06-15T20:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。