論文の概要: Byzantine-Robust and Communication-Efficient Distributed Training: Compressive and Cyclic Gradient Coding

• arxiv url: http://arxiv.org/abs/2603.28780v1
• Date: Tue, 17 Mar 2026 10:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.133745
• Title: Byzantine-Robust and Communication-Efficient Distributed Training: Compressive and Cyclic Gradient Coding
• Title（参考訳）: Byzantine-Robust and Communication-Efficient Distributed Training: Compressive and Cyclic Gradient Coding
• Authors: Chengxi Li, Youssef Allouah, Rachid Guerraoui, Mikael Skoglund, Ming Xiao,
• Abstract要約: 通信制約のあるビザンチン攻撃下での分散訓練(DT)の問題点について検討する。 循環勾配符号化に基づく新しいDT法(LAD)を提案する。 LADはビザンチン攻撃に対する堅牢性を向上し、ソリューションエラーを大幅に低減している。
• 参考スコア（独自算出の注目度）: 39.5537175388854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of distributed training (DT) under Byzantine attacks with communication constraints. While prior work has developed various robust aggregation rules at the server to enhance robustness to Byzantine attacks, the existing methods suffer from a critical limitation in that the solution error does not diminish when the local gradients sent by different devices vary considerably, as a result of data heterogeneity among the subsets held by different devices. To overcome this limitation, we propose a novel DT method, cyclic gradient coding-based DT (LAD). In LAD, the server allocates the entire training dataset to the devices before training begins. In each iteration, it assigns computational tasks redundantly to the devices using cyclic gradient coding. Each honest device then computes local gradients on a fixed number of data subsets and encodes the local gradients before transmitting to the server. The server aggregates the coded vectors from the honest devices and the potentially incorrect messages from Byzantine devices using a robust aggregation rule. Leveraging the redundancy of computation across devices, the convergence performance of LAD is analytically characterized, demonstrating improved robustness against Byzantine attacks and significantly lower solution error. Furthermore, we extend LAD to a communication-efficient variant, compressive and cyclic gradient coding-based DT (Com-LAD), which further reduces communication overhead under constrained settings. Numerical results validate the effectiveness of the proposed methods in enhancing both Byzantine resilience and communication efficiency.
• Abstract（参考訳）: 本稿では,通信制約のあるビザンチン攻撃における分散トレーニング(DT)の問題点について検討する。 これまでの作業では、ビザンチン攻撃に対するロバスト性を高めるために、サーバで様々なロバストなアグリゲーションルールを開発してきたが、既存の手法では、異なるデバイスによって送信される局所勾配が、異なるデバイスによって保持されるサブセット間のデータ不均一性により、解の誤差が著しく変化するという重大な制限に悩まされている。 この制限を克服するために,循環勾配符号化に基づくDT(LAD)という新しいDT法を提案する。 LADでは、トレーニングを開始する前に、サーバがトレーニングデータセット全体をデバイスに割り当てる。 各イテレーションでは、循環勾配符号化を用いて計算タスクをデバイスに冗長に割り当てる。 各正直なデバイスは、固定数のデータサブセットの局所勾配を計算し、サーバに送信する前に局所勾配を符号化する。 サーバは、誠実なデバイスからのコード化されたベクターと、ロバストなアグリゲーションルールを使用して、ビザンティンデバイスからの潜在的に不正確なメッセージを集約する。 デバイス間での計算冗長性を活用して、LADの収束性能を解析的に評価し、ビザンチン攻撃に対する堅牢性を向上し、解誤差を著しく低減した。 さらに, LAD を圧縮的, 循環的勾配符号化に基づく DT (Com-LAD) に拡張することで, 制約条件下での通信オーバヘッドの低減を図る。 数値解析により,ビザンチンレジリエンスと通信効率の両面において,提案手法の有効性が検証された。

関連論文リスト

• Prioritizing Gradient Sign Over Modulus: An Importance-Aware Framework for Wireless Federated Learning [72.18619424901249]
  Sign-Prioritized FL (SP-FL) は、不均一なリソース割り当てを通じて重要な勾配情報の送信を優先するフレームワークである。 本稿では,Newton-Raphson 法と逐次凸近似 (SCA) を用いて,この問題を解決するための交互最適化アルゴリズムを提案する。 シミュレーションの結果,特に資源制約シナリオにおけるSP-FLの優位性が確認された。
  論文  参考訳（メタデータ） (2026-03-11T13:41:02Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• SemanticNN: Compressive and Error-Resilient Semantic Offloading for Extremely Weak Devices [9.795432423267503]
  本稿では,セマンティックNNを提案する。セマンティックNNは,セマンティックレベルの正確性を追求するために,ビットレベルの誤りを許容するセマンティックNNである。 動的チャネル条件に適応するBER(Bit Error Rate)対応デコーダと、コンパクトな表現を学ぶためのSQ(Soft Quantization)ベースのエンコーダが組み込まれている。 我々は3つのモデルと6つのデータセットを用いてSTM32の広範囲な実験を行い、画像分類とオブジェクト検出を行う。
  論文  参考訳（メタデータ） (2025-11-14T07:47:25Z)
• Integrated Sensing, Communication, and Computation for Over-the-Air Federated Edge Learning [52.904670248426626]
  本稿では,統合されたセンサ,通信,計算機能を備えた空対空フェデレーションエッジ・ラーニング(Air-FEEL)システムについて検討する。 バッチサイズ制御とネットワークリソース割り当てを交互に最適化することにより、低複雑さI SCCアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-08-21T02:46:46Z)
• Coded Robust Aggregation for Distributed Learning under Byzantine Attacks [33.56146654796337]
  符号化ロバストアグリゲーション(CRA-DL)に基づくビザンチン攻撃に対処する新しいDL法を提案する。 CRA-DLは、正直な装置によって送信される符号化された勾配が互いに近いという事実により改善される。
  論文  参考訳（メタデータ） (2025-05-17T12:06:04Z)
• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning [17.454251607446555]
  サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-05-14T17:57:13Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。