論文の概要: Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients

• arxiv url: http://arxiv.org/abs/2110.01595v1
• Date: Mon, 4 Oct 2021 17:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:09:56.404625
• Title: Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients
• Title（参考訳）: Solon: 冗長勾配によるコミュニケーション効率の良いビザンチン耐性分散トレーニング
• Authors: Lingjiao Chen, Leshang Chen, Hongyi Wang, Susan Davidson, Edgar Dobriban
• Abstract要約: Solonは、勾配の冗長性を利用して通信効率とビザンティンの堅牢性を同時に提供するアルゴリズムフレームワークである。 我々は,Solonが既存手法よりも大幅に高速化し,同じ精度を実現することを示す。 また、慎重に設計されたビザンツの攻撃がシグヌムとブリャンを破り、ソロンの収束に影響を与えないことも示している。
• 参考スコア（独自算出の注目度）: 29.923391882455164
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: There has been a growing need to provide Byzantine-resilience in distributed model training. Existing robust distributed learning algorithms focus on developing sophisticated robust aggregators at the parameter servers, but pay less attention to balancing the communication cost and robustness.In this paper, we propose Solon, an algorithmic framework that exploits gradient redundancy to provide communication efficiency and Byzantine robustness simultaneously. Our theoretical analysis shows a fundamental trade-off among computational load, communication cost, and Byzantine robustness. We also develop a concrete algorithm to achieve the optimal trade-off, borrowing ideas from coding theory and sparse recovery. Empirical experiments on various datasets demonstrate that Solon provides significant speedups over existing methods to achieve the same accuracy, over 10 times faster than Bulyan and 80% faster than Draco. We also show that carefully designed Byzantine attacks break Signum and Bulyan, but do not affect the successful convergence of Solon.
• Abstract（参考訳）: 分散モデルトレーニングにおいて、ビザンチンレジリエンスを提供する必要性が高まっている。 既存のロバスト分散学習アルゴリズムは,パラメータサーバにおける高度なロバストアグリゲータの開発に重点を置いているが,通信コストとロバストネスのバランスにあまり注意を払っていない。本論文では,勾配冗長性を利用して通信効率とビザンチン堅牢性を同時に提供するアルゴリズムフレームワークであるsolonを提案する。 理論解析の結果,計算負荷,通信コスト,ビザンチンのロバスト性との根本的なトレードオフが示された。 また,コーディング理論とスパースリカバリからアイデアを借りて,最適なトレードオフを実現するための具体的なアルゴリズムを開発した。 さまざまなデータセットに関する実証実験は、Solonが既存のメソッドよりも大幅にスピードアップして同じ精度を実現していることを示している。 また、慎重に設計されたビザンツの攻撃がシグヌムとブリャンを破り、ソロンの収束に影響を与えないことを示す。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• MUSIC: Accelerated Convergence for Distributed Optimization With Inexact and Exact Methods [6.800113478497425]
  本稿では,MUSICと名づけられた高速化されたフレームワークを提案し,各エージェントが複数のローカル更新と1つの組み合わせをイテレーション毎に実行できるようにする。 そこで我々は, 線形収束を高速化し, 通信効率を向上する2つの新しいアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-03-05T02:02:00Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
  重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。 また,学習過程におけるコストを考慮したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-18T15:14:16Z)
• Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach [10.850336820582678]
  本稿では、分散化空間学習問題を効率的に解くために、分散化代理中央回帰法(deSMR)を提案する。 提案アルゴリズムは,簡単な実装で線形収束率を満足する。 また,スパース・サポート・リカバリの理論的結果も確立した。
  論文  参考訳（メタデータ） (2022-02-11T08:16:01Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。