論文の概要: Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning
- arxiv url: http://arxiv.org/abs/2508.17129v1
- Date: Sat, 23 Aug 2025 20:11:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.356596
- Title: Reconciling Communication Compression and Byzantine-Robustness in Distributed Learning
- Title（参考訳）: 分散学習におけるコミュニケーション圧縮とビザンチン・ロバスト性の再検討
- Authors: Diksha Gupta, Nirupam Gupta, Chuan Xu, Giovanni Neglia,
- Abstract要約: 分散学習(DL)は、分散データよりもスケーラブルなモデルトレーニングを可能にするが、ビザンチンの障害や通信コストの高さに悩まされている。
本稿では,従来のPolyakの運動量と新たなコーディネート圧縮機構を統合したRoSDHBというアルゴリズムを提案する。
特に、正直な労働者の平均損失関数のリプシッツの滑らかさは、[29]と対照的に、大域的ヘッセン分散の特別な滑らかさを仮定する[29]に対してのみ仮定する。
- 参考スコア（独自算出の注目度）: 14.247194622731223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed learning (DL) enables scalable model training over decentralized data, but remains challenged by Byzantine faults and high communication costs. While both issues have been studied extensively in isolation, their interaction is less explored. Prior work shows that naively combining communication compression with Byzantine-robust aggregation degrades resilience to faulty nodes (or workers). The state-of-the-art algorithm, namely Byz-DASHA-PAGE [29], makes use of the momentum variance reduction scheme to mitigate the detrimental impact of compression noise on Byzantine-robustness. We propose a new algorithm, named RoSDHB, that integrates the classic Polyak's momentum with a new coordinated compression mechanism. We show that RoSDHB performs comparably to Byz-DASHA-PAGE under the standard (G, B)-gradient dissimilarity heterogeneity model, while it relies on fewer assumptions. In particular, we only assume Lipschitz smoothness of the average loss function of the honest workers, in contrast to [29]that additionally assumes a special smoothness of bounded global Hessian variance. Empirical results on benchmark image classification task show that RoSDHB achieves strong robustness with significant communication savings.
- Abstract（参考訳）: 分散学習(DL)は、分散データよりもスケーラブルなモデルトレーニングを可能にするが、ビザンチンの障害や通信コストの高さに悩まされている。
どちらの問題も独立して広く研究されているが、それらの相互作用は研究されていない。
以前の研究によると、Byzantine-robustアグリゲーションと通信圧縮を鼻で組み合わせることで、障害ノード(あるいはワーカ)に対するレジリエンスが低下する。
最先端のアルゴリズムであるByz-DASHA-PAGE[29]は、ビザンチン・ロバスト性に対する圧縮ノイズの有害な影響を軽減するために、モーメント分散低減スキームを利用する。
本稿では,従来のPolyakの運動量と新たなコーディネート圧縮機構を統合した新しいアルゴリズムRoSDHBを提案する。
本稿では,Byz-DASHA-PAGEを標準(G,B)-次次相似性ヘテロジニティモデルで比較し,より少ない仮定に依存することを示した。
特に、正直な労働者の平均損失関数のリプシッツの滑らかさは、[29] が有界大域ヘッセン分散の特別な滑らかさを仮定するのに対してのみ仮定する。
ベンチマーク画像分類タスクにおける実験結果から,RoSDHBは通信の大幅な節約とともに強靭性を実現することが示された。
関連論文リスト
- Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。
堅牢性とコミュニケーションの保存に関する重要な課題に直面している。
本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
論文 参考訳（メタデータ） (2024-09-13T08:53:10Z) - Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。
その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。
その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
論文 参考訳（メタデータ） (2024-06-26T15:11:26Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Communication Compression for Byzantine Robust Learning: New Efficient
Algorithms and Improved Rates [9.965047642855074]
ビザンチンの堅牢性は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。
収束率を向上した新しいビザンチンロバスト圧縮法を提案する。
また,通信圧縮誤差フィードバックを用いたByzantine-robust法を開発した。
論文 参考訳（メタデータ） (2023-10-15T11:22:34Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker
Assumptions and Communication Compression as a Cherry on the Top [10.579228752210168]
ビザンチン・ロバスト性は、協調的で耐性のある学習への関心から、多くの注目を集めている。
Byz-VRMARINAは、ロバストネスと通信圧縮に対する新しいビザンチンのアプローチである。
勾配を持つビザンチン・ロバスト法とは異なり、この結果は厳密であり、有界性や限定圧縮のような制限的な仮定に依存しない。
論文 参考訳（メタデータ） (2022-06-01T14:40:29Z) - Bridging Differential Privacy and Byzantine-Robustness via Model
Aggregation [27.518542543750367]
本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。
標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。
提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
論文 参考訳（メタデータ） (2022-04-29T23:37:46Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify
Communication-Efficient Federated Learning [24.016538592246377]
ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。
本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。
そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
論文 参考訳（メタデータ） (2021-04-14T08:16:03Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳（メタデータ） (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。