論文の概要: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers

• arxiv url: http://arxiv.org/abs/2402.02951v1
• Date: Mon, 5 Feb 2024 12:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 16:22:14.905513
• Title: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers
• Title（参考訳）: 動的ビザンチン・ロバスト学習 : ビザンチン労働者への適応
• Authors: Ron Dorfman, Naseem Yehya, Kfir Y. Levy
• Abstract要約: Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。 ほとんどのテクニックは静的な設定を考慮しており、学習プロセス中にビザンティンマシンのアイデンティティが固定されている。 我々は、ビザンチンのアイデンティティ変更のラウンドを$mathcalO(sqrtT)$で克服する新しい方法である$textsfBROを提案する。
• 参考スコア（独自算出の注目度）: 11.94958188311599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine-robust learning has emerged as a prominent fault-tolerant distributed machine learning framework. However, most techniques consider the static setting, wherein the identity of Byzantine machines remains fixed during the learning process. This assumption does not capture real-world dynamic Byzantine behaviors, which may include transient malfunctions or targeted temporal attacks. Addressing this limitation, we propose $\textsf{DynaBRO}$ -- a new method capable of withstanding $\mathcal{O}(\sqrt{T})$ rounds of Byzantine identity alterations (where $T$ is the total number of training rounds), while matching the asymptotic convergence rate of the static setting. Our method combines a multi-level Monte Carlo (MLMC) gradient estimation technique with robust aggregation of worker updates and incorporates a fail-safe filter to limit bias from dynamic Byzantine strategies. Additionally, by leveraging an adaptive learning rate, our approach eliminates the need for knowing the percentage of Byzantine workers.
• Abstract（参考訳）: byzantine-robust learningは、フォールトトレラントな分散機械学習フレームワークとして登場した。 しかし、ほとんどの技法は静的な設定を考慮し、ビザンチンマシンのアイデンティティは学習プロセス中に固定されている。 この仮定は、一時的な機能不全や標的の時空攻撃を含む現実世界の動的ビザンチンの挙動を捉えていない。 この制限に対処するために、$\textsf{dynabro}$ -\mathcal{o}(\sqrt{t})$のビザンチンアイデンティティ変更(ここで$t$はトレーニングラウンドの総数)に耐えられる新しいメソッドを提案し、静的設定の漸近収束率と一致させる。 本手法は,マルチレベルモンテカルロ勾配推定手法と作業者の更新の堅牢な集約を組み合わせ,動的ビザンティン戦略からのバイアスを制限するためにフェールセーフフィルタを組み込む。 さらに,適応学習率を活用することで,ビザンティン労働者の割合を知る必要がなくなる。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search [6.461473289206789]
  本研究では、勾配のないMLアルゴリズムと古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性分散学習アルゴリズムを生成することを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。
  論文  参考訳（メタデータ） (2023-04-20T17:13:29Z)
• A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent [3.5450828190071655]
  本稿では,分散勾配勾配におけるビザンチン耐故障性のためのロバスト勾配分類フレームワーク(RGCF)を提案する。 RGCFはワーカ数に依存しない。パフォーマンスを損なうことなく、多数のワーカを抱えるトレーニングインスタンスまでスケールアップすることができる。
  論文  参考訳（メタデータ） (2023-01-16T10:40:09Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning [22.835940007753376]
  分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-13T01:17:31Z)
• Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data [36.99547890386817]
  我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。 不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。 Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
  論文  参考訳（メタデータ） (2020-09-17T09:09:23Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)
• A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning [48.87397222244402]
  タスクフリー連続学習のための拡張型アプローチを提案する。 我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
  論文  参考訳（メタデータ） (2020-01-03T02:07:31Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。