論文の概要: Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates

• arxiv url: http://arxiv.org/abs/2310.09804v2
• Date: Sat, 9 Mar 2024 13:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 15:51:57.746083
• Title: Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates
• Title（参考訳）: ビザンチンロバスト学習のためのコミュニケーション圧縮:新しい効率的なアルゴリズムと改善率
• Authors: Ahmad Rammal, Kaja Gruntkowska, Nikita Fedin, Eduard Gorbunov, Peter Richt\'arik
• Abstract要約: ビザンチンの堅牢性は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。 収束率を向上した新しいビザンチンロバスト圧縮法を提案する。 また,通信圧縮誤差フィードバックを用いたByzantine-robust法を開発した。
• 参考スコア（独自算出の注目度）: 9.965047642855074
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Byzantine robustness is an essential feature of algorithms for certain distributed optimization problems, typically encountered in collaborative/federated learning. These problems are usually huge-scale, implying that communication compression is also imperative for their resolution. These factors have spurred recent algorithmic and theoretical developments in the literature of Byzantine-robust learning with compression. In this paper, we contribute to this research area in two main directions. First, we propose a new Byzantine-robust method with compression - Byz-DASHA-PAGE - and prove that the new method has better convergence rate (for non-convex and Polyak-Lojasiewicz smooth optimization problems), smaller neighborhood size in the heterogeneous case, and tolerates more Byzantine workers under over-parametrization than the previous method with SOTA theoretical convergence guarantees (Byz-VR-MARINA). Secondly, we develop the first Byzantine-robust method with communication compression and error feedback - Byz-EF21 - along with its bidirectional compression version - Byz-EF21-BC - and derive the convergence rates for these methods for non-convex and Polyak-Lojasiewicz smooth case. We test the proposed methods and illustrate our theoretical findings in the numerical experiments.
• Abstract（参考訳）: ビザンチン・ロバスト性(byzantine robustness)は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。 これらの問題は通常大規模であり、通信圧縮もその解決に必須であることを示している。 これらの要因は、圧縮によるビザンチン・ロバスト学習の文献における最近のアルゴリズム的・理論的発展を促している。 本稿では,この研究領域に2つの方向性で貢献する。 まず、Byz-DASHA-PAGEを用いた新しいByz-DASHA-PAGE法を提案し、新しい手法が(非凸およびPolyak-Lojasiewiczのスムーズな最適化問題に対して)より良い収束率を持つこと、不均一な場合の近傍サイズを小さくし、SOTA理論収束保証法(Byz-VR-MARINA)により従来の方法よりも過パラメライズされたビザンチン労働者を許容する。 次に,Byz-EF21-BCandとByz-EF21-BCandを併用して,通信圧縮とエラーフィードバックを併用した最初のByzantine-robust法を開発し,非凸およびPolyak-Lojasiewiczスムーズケースに対するこれらの手法の収束率を導出する。 数値実験において,提案手法を検証し,理論的な知見を示す。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top [10.579228752210168]
  ビザンチン・ロバスト性は、協調的で耐性のある学習への関心から、多くの注目を集めている。 Byz-VRMARINAは、ロバストネスと通信圧縮に対する新しいビザンチンのアプローチである。 勾配を持つビザンチン・ロバスト法とは異なり、この結果は厳密であり、有界性や限定圧縮のような制限的な仮定に依存しない。
  論文  参考訳（メタデータ） (2022-06-01T14:40:29Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。