論文の概要: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers

• arxiv url: http://arxiv.org/abs/2402.02951v2
• Date: Sun, 16 Jun 2024 05:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 06:35:20.371578
• Title: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers
• Title（参考訳）: 動的ビザンチン・ロバスト学習 : ビザンチン労働者への適応
• Authors: Ron Dorfman, Naseem Yehya, Kfir Y. Levy,
• Abstract要約: Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。 我々はダイナブロ(DynaBRO)という,ラウンドごとのサブ線形数の変化に耐えられる新しい手法を提案する。 本手法では,マルチレベルモンテカルロ勾配法をサーバに適用し,ワーカー更新を頑健に集約する。
• 参考スコア（独自算出の注目度）: 10.632248569865236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine-robust learning has emerged as a prominent fault-tolerant distributed machine learning framework. However, most techniques focus on the static setting, wherein the identity of Byzantine workers remains unchanged throughout the learning process. This assumption fails to capture real-world dynamic Byzantine behaviors, which may include intermittent malfunctions or targeted, time-limited attacks. Addressing this limitation, we propose DynaBRO -- a new method capable of withstanding any sub-linear number of identity changes across rounds. Specifically, when the number of such changes is $\mathcal{O}(\sqrt{T})$ (where $T$ is the total number of training rounds), DynaBRO nearly matches the state-of-the-art asymptotic convergence rate of the static setting. Our method utilizes a multi-level Monte Carlo (MLMC) gradient estimation technique applied at the server to robustly aggregated worker updates. By additionally leveraging an adaptive learning rate, we circumvent the need for prior knowledge of the fraction of Byzantine workers.
• Abstract（参考訳）: Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。 しかし、ほとんどの技術は静的な設定に焦点を当てており、ビザンツ人労働者のアイデンティティは学習過程を通して変化しない。 この仮定は、断続的障害や時間制限攻撃を含む実世界の動的ビザンチンの振る舞いを捉えることに失敗する。 この制限に対処するため,ダイナブロ (DynaBRO) を提案する。 具体的には、そのような変更の数が$\mathcal{O}(\sqrt{T})$($T$はトレーニングラウンドの総数)であれば、DynaBROは静的設定の最先端の漸近収束率とほぼ一致する。 本手法では,マルチレベルモンテカルロ(MLMC)勾配推定手法をサーバに適用し,ワーカー更新を頑健に集約する。 さらに適応的な学習率を活用することで、ビザンティン労働者の少人数の事前知識の必要性を回避することができる。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search [6.461473289206789]
  本研究では、勾配のないMLアルゴリズムと古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性分散学習アルゴリズムを生成することを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。
  論文  参考訳（メタデータ） (2023-04-20T17:13:29Z)
• A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent [3.5450828190071655]
  本稿では,分散勾配勾配におけるビザンチン耐故障性のためのロバスト勾配分類フレームワーク(RGCF)を提案する。 RGCFはワーカ数に依存しない。パフォーマンスを損なうことなく、多数のワーカを抱えるトレーニングインスタンスまでスケールアップすることができる。
  論文  参考訳（メタデータ） (2023-01-16T10:40:09Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning [22.835940007753376]
  分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-13T01:17:31Z)
• Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data [36.99547890386817]
  我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。 不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。 Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
  論文  参考訳（メタデータ） (2020-09-17T09:09:23Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)
• A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning [48.87397222244402]
  タスクフリー連続学習のための拡張型アプローチを提案する。 我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
  論文  参考訳（メタデータ） (2020-01-03T02:07:31Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。