論文の概要: Byzantine-Robust Decentralized Learning via Self-Centered Clipping
- arxiv url: http://arxiv.org/abs/2202.01545v1
- Date: Thu, 3 Feb 2022 12:04:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 20:05:56.890361
- Title: Byzantine-Robust Decentralized Learning via Self-Centered Clipping
- Title(参考訳): 自発的クリッピングによるビザンチンロバスト分散学習
- Authors: Lie He, Sai Praneeth Karimireddy, Martin Jaggi
- Abstract要約: 任意の通信グラフ上でのビザンチン・ロバスト分散学習の課題について検討する。
我々は、トポロジの情報を利用してボトルネックを害するノードがほとんどない、新たな不一致攻撃を特定する。
- 参考スコア(独自算出の注目度): 61.03711813598128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the challenging task of Byzantine-robust
decentralized training on arbitrary communication graphs. Unlike federated
learning where workers communicate through a server, workers in the
decentralized environment can only talk to their neighbors, making it harder to
reach consensus. We identify a novel dissensus attack in which few malicious
nodes can take advantage of information bottlenecks in the topology to poison
the collaboration. To address these issues, we propose a Self-Centered Clipping
(SCClip) algorithm for Byzantine-robust consensus and optimization, which is
the first to provably converge to a $O(\delta_{\max}\zeta^2/\gamma^2)$
neighborhood of the stationary point for non-convex objectives under standard
assumptions. Finally, we demonstrate the encouraging empirical performance of
SCClip under a large number of attacks.
- Abstract(参考訳): 本稿では,任意の通信グラフ上でのビザンチン・ロバスト分散学習の課題について考察する。
労働者がサーバーを介してコミュニケーションをとる連合学習とは異なり、分散環境の労働者は隣人としか会話できないため、合意に達するのが難しくなる。
トポロジにおける情報のボトルネックを利用してコラボレーションを汚染する悪質なノードがほとんどない,新たな不感攻撃を識別する。
これらの問題に対処するために、ビザンチン・ロバストコンセンサスと最適化のための自己中心クリッピング(scclip)アルゴリズムを提案し、標準仮定の下で非凸目的の定常点の$o(\delta_{\max}\zeta^2/\gamma^2)$近傍に最初に収束する。
最後に,多数の攻撃下でのSCClipの実証的性能を実証した。
関連論文リスト
- DePRL: Achieving Linear Convergence Speedup in Personalized
Decentralized Learning with Shared Representations [31.47686582044592]
本稿では,共有表現を用いた分散学習アルゴリズムDePRLを提案する。
初めて、DePRLは一般非線形表現との収束の証明可能な線形高速化を実現する。
論文 参考訳(メタデータ) (2023-12-17T20:53:37Z) - Byzantine Robustness and Partial Participation Can Be Achieved
Simultaneously: Just Clip Gradient Differences [13.685342165862252]
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
これにより、繰り返しであっても、ビザンチン労働者による潜在的損害を負わせることができます。
本稿では,既存のSOTA理論結果に適合する提案手法の収束率を示す。
論文 参考訳(メタデータ) (2023-11-23T17:50:30Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳(メタデータ) (2022-06-01T00:44:53Z) - Communication-Efficient Actor-Critic Methods for Homogeneous Markov
Games [6.589813623221242]
政策共有は、特定のタスクにおける効率的な学習には不可欠であるが、理論上の正当化は欠如している。
コンセンサスに基づく最初の分散型アクター批判手法を開発した。
また,訓練中の通信コストを削減するために,分散型アクター批判手法に基づく実用的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-02-18T20:35:00Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z) - Secure Distributed Training at Scale [65.7538150168154]
ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。
本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
論文 参考訳(メタデータ) (2021-06-21T17:00:42Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳(メタデータ) (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。