論文の概要: Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy

• arxiv url: http://arxiv.org/abs/2108.11769v1
• Date: Thu, 26 Aug 2021 13:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 13:50:21.563311
• Title: Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy
• Title（参考訳）: 2f冗長下における局部SGDのビザンチン耐故障性
• Authors: Nirupam Gupta, Thinh T. Doan and Nitin Vaidya
• Abstract要約: フェデレーション機械学習におけるビザンチンフォールトトレランスの問題点を考察する。 故障のない環境では、エージェントはコーディネータと協力し、局所的なコスト関数の集合の最小化を見つける。 我々は,2f$-redundancy以下では,CE を用いた局所アルゴリズムで正確なフォールトトレランスが得られることを示す。
• 参考スコア（独自算出の注目度）: 1.7188280334580197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of Byzantine fault-tolerance in federated machine learning. In this problem, the system comprises multiple agents each with local data, and a trusted centralized coordinator. In fault-free setting, the agents collaborate with the coordinator to find a minimizer of the aggregate of their local cost functions defined over their local data. We consider a scenario where some agents ($f$ out of $N$) are Byzantine faulty. Such agents need not follow a prescribed algorithm correctly, and may communicate arbitrary incorrect information to the coordinator. In the presence of Byzantine agents, a more reasonable goal for the non-faulty agents is to find a minimizer of the aggregate cost function of only the non-faulty agents. This particular goal is commonly referred as exact fault-tolerance. Recent work has shown that exact fault-tolerance is achievable if only if the non-faulty agents satisfy the property of $2f$-redundancy. Now, under this property, techniques are known to impart exact fault-tolerance to the distributed implementation of the classical stochastic gradient-descent (SGD) algorithm. However, we do not know of any such techniques for the federated local SGD algorithm - a more commonly used method for federated machine learning. To address this issue, we propose a novel technique named comparative elimination (CE). We show that, under $2f$-redundancy, the federated local SGD algorithm with CE can indeed obtain exact fault-tolerance in the deterministic setting when the non-faulty agents can accurately compute gradients of their local cost functions. In the general stochastic case, when agents can only compute unbiased noisy estimates of their local gradients, our algorithm achieves approximate fault-tolerance with approximation error proportional to the variance of stochastic gradients and the fraction of Byzantine agents.
• Abstract（参考訳）: フェデレーション機械学習におけるビザンチン障害耐性の問題を考える。 この問題では,複数のエージェントにそれぞれローカルデータと,信頼性の高い集中コーディネータを備える。 障害のない環境では、エージェントはコーディネータと協力し、ローカルデータ上で定義されたローカルコスト関数の集合の最小化子を見つける。 我々は、一部のエージェント($N$のうちf$)がビザンティンの欠陥であるシナリオを考える。 このようなエージェントは、所定のアルゴリズムを正しく従う必要はなく、任意の誤った情報をコーディネータに伝達することができる。 ビザンチン系エージェントの存在下では、非標準系エージェントのより合理的な目標は、非標準系エージェントのみの集約コスト関数の最小値を見つけることである。 この特定のゴールは、一般的に正確にフォールトトレランスと呼ばれる。 最近の研究は、非デフォルトエージェントが2f$-redundancyのプロパティを満たす場合に限り、正確なフォールトトレランスが達成可能であることを示した。 この特性の下では、古典的確率勾配D(SGD)アルゴリズムの分散実装に正確なフォールトトレランスを与えることが知られている。 しかし、フェデレートされたローカルSGDアルゴリズムは、フェデレーションされた機械学習のより一般的な手法である。 そこで本研究では,比較除去(CE)と呼ばれる新しい手法を提案する。 我々は,2f$-redundancy以下では,非フーティエージェントが局所コスト関数の勾配を正確に計算できる場合,CEを用いた局所SGDアルゴリズムは決定論的条件下で正確にフォールトトレランスを得ることができることを示した。 一般確率的場合、エージェントが局所勾配の非バイアスノイズ推定しか計算できない場合、我々のアルゴリズムは確率勾配の分散とビザンチンエージェントの分数に比例した近似誤差による近似フォールトトレランスを達成する。

関連論文リスト

• Proportional Fairness in Non-Centroid Clustering [34.91134564352282]
  我々は、グループフェアネスを保証することを目的として、最近開発された、比例フェアクラスタリングのフレームワークを再考する。 フレームワークを非セントロイドクラスタリングに拡張し、エージェントの損失はそのクラスタ内の他のエージェントの関数である。 我々は、GreedyCaptureアルゴリズムの適応を用いて、我々が確立できる最良の近似が自然損失関数には適用されないことを示す。
  論文  参考訳（メタデータ） (2024-10-30T17:53:49Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Impact of Redundancy on Resilience in Distributed Optimization and Learning [4.664766612388049]
  本稿では,サーバアーキテクチャにおける分散最適化と学習のレジリエンスの問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントは独自のローカルコスト関数を持つ。 局所コスト関数が十分冗長であることを考えると、実際に$(f, r; epsilon)$-レジリエンスが達成できることが示される。
  論文  参考訳（メタデータ） (2022-11-16T02:23:34Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Utilizing Redundancy in Cost Functions for Resilience in Distributed Optimization and Learning [1.8414221462731502]
  本稿では,サーバアーキテクチャにおけるレジリエントな分散最適化と機械学習の問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントはローカルなコスト関数を持つ。 エージェントのいくつかが非同期で、/またはビザンティンの欠陥がある場合を考えます。
  論文  参考訳（メタデータ） (2021-10-21T02:41:19Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE) [2.582633087903328]
  分散勾配降下法(D-SGD)におけるビザンチン耐故障性問題について考察する。 比較勾配除去(CGE)というノルムに基づく勾配フィルタを提案する。 CGE勾配フィルタは、標準仮定の下でのビザンチンエージェントの有界部分に対する耐故障性を保証する。
  論文  参考訳（メタデータ） (2020-08-11T13:51:16Z)
• Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets [147.11434031193164]
  本研究では,データサンプルが不均一に作業者間で分散されている場合の耐障害性フェデレーション学習について検討する。 データセットを戦略的に破壊する可能性のある敵意的な欠陥のある労働者が存在する場合、交換されたローカルメッセージは信頼できない。 本研究は,Nesterovの加速技術に依存するフォールトレジリエント勾配(FRPG)アルゴリズムを提案する。 強い凸損失関数に対して、FRPGとLFRPGは、ベンチマークロバストな集約アルゴリズムよりも明らかに高速な収束率を持つ。
  論文  参考訳（メタデータ） (2020-06-17T16:50:33Z)
• Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks [25.15075119957447]
  我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。 一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。 ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。 提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
  論文  参考訳（メタデータ） (2020-05-12T04:18:39Z)
• Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation [63.75774438196315]
  Unsupervised Domain adapt (UDA) は、未ラベルのデータのみを持つ新しいターゲットドメインにソースドメインの既存のモデルを適用することを目的としている。 既存のほとんどの手法は、エラーを起こしやすい識別器ネットワークまたは不合理な教師モデルから生じる顕著な負の伝達に悩まされている。 ドメイン間セマンティックセグメンテーションのための不確実性を考慮した整合性正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-19T15:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。