論文の概要: Distributed Newton Can Communicate Less and Resist Byzantine Workers

• arxiv url: http://arxiv.org/abs/2006.08737v1
• Date: Mon, 15 Jun 2020 20:16:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 04:00:35.241967
• Title: Distributed Newton Can Communicate Less and Resist Byzantine Workers
• Title（参考訳）: 分散ニュートンは、ビザンティン労働者のコミュニケーションを減らし、抵抗できる
• Authors: Avishek Ghosh, Raj Kumar Maity and Arya Mazumdar
• Abstract要約: 本研究では,作業機械のビザンチン故障に対して頑健かつ通信効率のよい分散二階最適化アルゴリズムを開発した。 我々はCOMRADEの収束の線形二乗速度を確立し、通信の節約とビザンチンのレジリエンスが任意の凸損失関数に対して小さな統計的誤差率しか得られないことを確立する。
• 参考スコア（独自算出の注目度）: 31.271927533726842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a distributed second order optimization algorithm that is communication-efficient as well as robust against Byzantine failures of the worker machines. We propose COMRADE (COMunication-efficient and Robust Approximate Distributed nEwton), an iterative second order algorithm, where the worker machines communicate only once per iteration with the center machine. This is in sharp contrast with the state-of-the-art distributed second order algorithms like GIANT [34] and DINGO[7], where the worker machines send (functions of) local gradient and Hessian sequentially; thus ending up communicating twice with the center machine per iteration. Moreover, we show that the worker machines can further compress the local information before sending it to the center. In addition, we employ a simple norm based thresholding rule to filter-out the Byzantine worker machines. We establish the linear-quadratic rate of convergence of COMRADE and establish that the communication savings and Byzantine resilience result in only a small statistical error rate for arbitrary convex loss functions. To the best of our knowledge, this is the first work that addresses the issue of Byzantine resilience in second order distributed optimization. Furthermore, we validate our theoretical results with extensive experiments on synthetic and benchmark LIBSVM [5] data-sets and demonstrate convergence guarantees.
• Abstract（参考訳）: 我々は,作業機械のビザンチン故障に対してロバストな通信効率を持つ分散二階最適化アルゴリズムを開発した。 本研究では,作業機械が1回に1回のみセンタマシンと通信する反復型2次アルゴリズムであるcomrade (comunication- efficient and robust approximation distributed newton)を提案する。 これは、ジャイアント [34] や dingo[7] のような最先端の分散2次アルゴリズムとは対照的で、ワーカマシンが局所勾配とヘッセンを連続的に送信(関数)する。 さらに, 作業機械は, 中央に送信する前に, さらにローカル情報を圧縮できることを示す。 さらに,バイザンティン作業機械のフィルタリングには,単純なノルムベースのしきい値設定規則を用いる。 本研究では,コプラドの収束率を線形-四分率で定め,通信の節約とビザンチン弾性によって任意の凸損失関数に対する統計誤差が小さくなることを確かめる。 私たちの知る限りでは、二階分散最適化におけるビザンチンのレジリエンスの問題に対処する最初の作業です。 さらに, LIBSVM [5] のデータ集合の合成およびベンチマークに関する広範な実験により, 理論結果を検証し, 収束保証を示す。

関連論文リスト

• Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing [45.475515050909706]
  我々は,作業者間のコミュニケーションが制限されるような,凸関数を極めて並列に最小化する問題を考える。 本稿では、中央ノード(サーバ)がニュートン法を効果的に実行し、その高コストをオフロードする手法を提案する。 提案手法では, 適応的スケッチ手法を用いて, 作業者は独立に粗いが, 低バイアスで逆ヘッセン推定を行う。
  論文  参考訳（メタデータ） (2024-10-02T09:38:04Z)
• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience [49.379254729853756]
  我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。 キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。 提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
  論文  参考訳（メタデータ） (2021-03-17T03:53:58Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。