論文の概要: Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering
- arxiv url: http://arxiv.org/abs/2409.08640v1
- Date: Fri, 13 Sep 2024 08:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 17:18:35.829063
- Title: Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering
- Title（参考訳）: 圧縮モーメントフィルタによるビザンチン・ロバストとコミュニケーション効率の高い分散学習
- Authors: Changxin Liu, Yanghao Li, Yuhao Yi, Karl H. Johansson,
- Abstract要約: 分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。
堅牢性とコミュニケーションの保存に関する重要な課題に直面している。
本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
- 参考スコア（独自算出の注目度）: 17.446431849022346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed learning has become the standard approach for training large-scale machine learning models across private data silos. While distributed learning enhances privacy preservation and training efficiency, it faces critical challenges related to Byzantine robustness and communication reduction. Existing Byzantine-robust and communication-efficient methods rely on full gradient information either at every iteration or at certain iterations with a probability, and they only converge to an unnecessarily large neighborhood around the solution. Motivated by these issues, we propose a novel Byzantine-robust and communication-efficient stochastic distributed learning method that imposes no requirements on batch size and converges to a smaller neighborhood around the optimal solution than all existing methods, aligning with the theoretical lower bound. Our key innovation is leveraging Polyak Momentum to mitigate the noise caused by both biased compressors and stochastic gradients, thus defending against Byzantine workers under information compression. We provide proof of tight complexity bounds for our algorithm in the context of non-convex smooth loss functions, demonstrating that these bounds match the lower bounds in Byzantine-free scenarios. Finally, we validate the practical significance of our algorithm through an extensive series of experiments, benchmarking its performance on both binary classification and image classification tasks.
- Abstract（参考訳）: 分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。
分散学習はプライバシーの保護とトレーニングの効率を高めるが、ビザンティンの堅牢性とコミュニケーションの削減に関連する重要な課題に直面している。
既存のビザンチン・ロバストおよび通信効率のよい手法は、全ての反復または確率のある特定の反復において完全な勾配情報に依存しており、それらは解の周りの不要な大きな近傍に収束するだけである。
これらの課題に乗じて,バッチサイズに要件を課さず,既存のすべての方法よりも小さな近傍に収束し,理論的下界と整合する,ビザンチン・ロバスト・通信効率の高い確率的分散学習手法を提案する。
我々の重要な革新は、Polyak Momentumを利用してバイアス圧縮機と確率勾配の両方によるノイズを緩和し、情報圧縮の下でビザンチン労働者を防衛することである。
非凸な滑らかな損失関数の文脈におけるアルゴリズムの厳密な複雑性境界の証明を行い、これらの境界がビザンチン自由シナリオの下位境界と一致することを示す。
最後に,2値分類タスクと画像分類タスクの両方において,その性能をベンチマークすることで,アルゴリズムの実用的意義を検証した。
関連論文リスト
- Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。
本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。
プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
論文 参考訳（メタデータ） (2024-09-22T00:49:10Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。
現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
論文 参考訳（メタデータ） (2023-11-23T17:50:30Z) - Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。
また,学習過程におけるコストを考慮したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-18T15:14:16Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Contextual Model Aggregation for Fast and Robust Federated Learning in
Edge Computing [88.76112371510999]
フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。
既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。
そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T21:42:31Z) - BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify
Communication-Efficient Federated Learning [24.016538592246377]
ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。
本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。
そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
論文 参考訳（メタデータ） (2021-04-14T08:16:03Z) - Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。
ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-25T04:32:52Z) - Byzantine-Robust Variance-Reduced Federated Learning over Distributed
Non-i.i.d. Data [36.99547890386817]
我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。
不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。
Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
論文 参考訳（メタデータ） (2020-09-17T09:09:23Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。