論文の概要: Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top

• arxiv url: http://arxiv.org/abs/2206.00529v1
• Date: Wed, 1 Jun 2022 14:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:33:28.527276
• Title: Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top
• Title（参考訳）: 多様性の低減はビザンチン人に対する解毒剤:最上位のチェリーとしてのより良いレート、弱み、コミュニケーション圧縮
• Authors: Eduard Gorbunov, Samuel Horv\'ath, Peter Richt\'arik, Gauthier Gidel
• Abstract要約: ビザンチン・ロバスト性は、協調的で耐性のある学習への関心から、多くの注目を集めている。 Byz-VRMARINAは、ロバストネスと通信圧縮に対する新しいビザンチンのアプローチである。 勾配を持つビザンチン・ロバスト法とは異なり、この結果は厳密であり、有界性や限定圧縮のような制限的な仮定に依存しない。
• 参考スコア（独自算出の注目度）: 10.579228752210168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine-robustness has been gaining a lot of attention due to the growth of the interest in collaborative and federated learning. However, many fruitful directions, such as the usage of variance reduction for achieving robustness and communication compression for reducing communication costs, remain weakly explored in the field. This work addresses this gap and proposes Byz-VR-MARINA - a new Byzantine-tolerant method with variance reduction and compression. A key message of our paper is that variance reduction is key to fighting Byzantine workers more effectively. At the same time, communication compression is a bonus that makes the process more communication efficient. We derive theoretical convergence guarantees for Byz-VR-MARINA outperforming previous state-of-the-art for general non-convex and Polyak-Lojasiewicz loss functions. Unlike the concurrent Byzantine-robust methods with variance reduction and/or compression, our complexity results are tight and do not rely on restrictive assumptions such as boundedness of the gradients or limited compression. Moreover, we provide the first analysis of a Byzantine-tolerant method supporting non-uniform sampling of stochastic gradients. Numerical experiments corroborate our theoretical findings.
• Abstract（参考訳）: byzantine-robustnessは、協調学習と連合学習への関心が高まり、多くの注目を集めている。 しかし、ロバスト性を達成するための分散削減や通信コストを低減するための通信圧縮など、多くの実りある方向は、この分野では弱いままである。 本稿では,このギャップに対処し,分散低減と圧縮を伴う新しいビザンチン耐性手法であるbyz-vr-marinaを提案する。 我々の論文の重要なメッセージは、分散削減はビザンチン労働者とより効果的に戦うための鍵であるということです。 同時に、コミュニケーション圧縮はプロセスをより効率的にするためのボーナスである。 我々は、Byz-VR-MARINAの理論的収束保証を一般の非凸関数やポリアック・ロジャシエヴィチ損失関数の先行状態よりも優れる。 分散還元および/または圧縮を伴う同時ビザンチン・ロバスト法とは異なり、我々の複雑性結果はタイトであり、勾配の有界性や限定圧縮のような制限的な仮定に依存しない。 さらに,確率勾配の非一様サンプリングをサポートするビザンチン耐性法の最初の解析を行った。 数値実験は理論的な結果を裏付けるものだ。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates [9.965047642855074]
  ビザンチンの堅牢性は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。 収束率を向上した新しいビザンチンロバスト圧縮法を提案する。 また,通信圧縮誤差フィードバックを用いたByzantine-robust法を開発した。
  論文  参考訳（メタデータ） (2023-10-15T11:22:34Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
  ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。 強凸の場合、新しい方法の非漸近収束保証を導出する。
  論文  参考訳（メタデータ） (2023-03-08T13:20:49Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。