論文の概要: Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker
Assumptions and Communication Compression as a Cherry on the Top
- arxiv url: http://arxiv.org/abs/2206.00529v1
- Date: Wed, 1 Jun 2022 14:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 13:33:28.527276
- Title: Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker
Assumptions and Communication Compression as a Cherry on the Top
- Title(参考訳): 多様性の低減はビザンチン人に対する解毒剤:最上位のチェリーとしてのより良いレート、弱み、コミュニケーション圧縮
- Authors: Eduard Gorbunov, Samuel Horv\'ath, Peter Richt\'arik, Gauthier Gidel
- Abstract要約: ビザンチン・ロバスト性は、協調的で耐性のある学習への関心から、多くの注目を集めている。
Byz-VRMARINAは、ロバストネスと通信圧縮に対する新しいビザンチンのアプローチである。
勾配を持つビザンチン・ロバスト法とは異なり、この結果は厳密であり、有界性や限定圧縮のような制限的な仮定に依存しない。
- 参考スコア(独自算出の注目度): 10.579228752210168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byzantine-robustness has been gaining a lot of attention due to the growth of
the interest in collaborative and federated learning. However, many fruitful
directions, such as the usage of variance reduction for achieving robustness
and communication compression for reducing communication costs, remain weakly
explored in the field. This work addresses this gap and proposes Byz-VR-MARINA
- a new Byzantine-tolerant method with variance reduction and compression. A
key message of our paper is that variance reduction is key to fighting
Byzantine workers more effectively. At the same time, communication compression
is a bonus that makes the process more communication efficient. We derive
theoretical convergence guarantees for Byz-VR-MARINA outperforming previous
state-of-the-art for general non-convex and Polyak-Lojasiewicz loss functions.
Unlike the concurrent Byzantine-robust methods with variance reduction and/or
compression, our complexity results are tight and do not rely on restrictive
assumptions such as boundedness of the gradients or limited compression.
Moreover, we provide the first analysis of a Byzantine-tolerant method
supporting non-uniform sampling of stochastic gradients. Numerical experiments
corroborate our theoretical findings.
- Abstract(参考訳): byzantine-robustnessは、協調学習と連合学習への関心が高まり、多くの注目を集めている。
しかし、ロバスト性を達成するための分散削減や通信コストを低減するための通信圧縮など、多くの実りある方向は、この分野では弱いままである。
本稿では,このギャップに対処し,分散低減と圧縮を伴う新しいビザンチン耐性手法であるbyz-vr-marinaを提案する。
我々の論文の重要なメッセージは、分散削減はビザンチン労働者とより効果的に戦うための鍵であるということです。
同時に、コミュニケーション圧縮はプロセスをより効率的にするためのボーナスである。
我々は、Byz-VR-MARINAの理論的収束保証を一般の非凸関数やポリアック・ロジャシエヴィチ損失関数の先行状態よりも優れる。
分散還元および/または圧縮を伴う同時ビザンチン・ロバスト法とは異なり、我々の複雑性結果はタイトであり、勾配の有界性や限定圧縮のような制限的な仮定に依存しない。
さらに,確率勾配の非一様サンプリングをサポートするビザンチン耐性法の最初の解析を行った。
数値実験は理論的な結果を裏付けるものだ。
関連論文リスト
- TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural
Image Compression [62.888755394395716]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳(メタデータ) (2024-01-25T08:11:27Z) - Byzantine Robustness and Partial Participation Can Be Achieved
Simultaneously: Just Clip Gradient Differences [13.685342165862252]
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
これにより、繰り返しであっても、ビザンチン労働者による潜在的損害を負わせることができます。
本稿では,既存のSOTA理論結果に適合する提案手法の収束率を示す。
論文 参考訳(メタデータ) (2023-11-23T17:50:30Z) - Communication Compression for Byzantine Robust Learning: New Efficient
Algorithms and Improved Rates [9.965047642855074]
ビザンチンの堅牢性は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。
収束率を向上した新しいビザンチンロバスト圧縮法を提案する。
また,通信圧縮誤差フィードバックを用いたByzantine-robust法を開発した。
論文 参考訳(メタデータ) (2023-10-15T11:22:34Z) - Momentum Provably Improves Error Feedback! [54.93799845077906]
未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。
EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
論文 参考訳(メタデータ) (2023-05-24T13:52:02Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳(メタデータ) (2023-05-23T12:20:29Z) - Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。
強凸の場合、新しい方法の非漸近収束保証を導出する。
論文 参考訳(メタデータ) (2023-03-08T13:20:49Z) - BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify
Communication-Efficient Federated Learning [24.016538592246377]
ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。
本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。
そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
論文 参考訳(メタデータ) (2021-04-14T08:16:03Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - Byzantine-Robust Variance-Reduced Federated Learning over Distributed
Non-i.i.d. Data [36.99547890386817]
我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。
不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。
Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
論文 参考訳(メタデータ) (2020-09-17T09:09:23Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳(メタデータ) (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。