論文の概要: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine
Workers
- arxiv url: http://arxiv.org/abs/2402.02951v1
- Date: Mon, 5 Feb 2024 12:26:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 16:22:14.905513
- Title: Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine
Workers
- Title(参考訳): 動的ビザンチン・ロバスト学習 : ビザンチン労働者への適応
- Authors: Ron Dorfman, Naseem Yehya, Kfir Y. Levy
- Abstract要約: Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。
ほとんどのテクニックは静的な設定を考慮しており、学習プロセス中にビザンティンマシンのアイデンティティが固定されている。
我々は、ビザンチンのアイデンティティ変更のラウンドを$mathcalO(sqrtT)$で克服する新しい方法である$textsfBROを提案する。
- 参考スコア(独自算出の注目度): 11.94958188311599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byzantine-robust learning has emerged as a prominent fault-tolerant
distributed machine learning framework. However, most techniques consider the
static setting, wherein the identity of Byzantine machines remains fixed during
the learning process. This assumption does not capture real-world dynamic
Byzantine behaviors, which may include transient malfunctions or targeted
temporal attacks. Addressing this limitation, we propose $\textsf{DynaBRO}$ --
a new method capable of withstanding $\mathcal{O}(\sqrt{T})$ rounds of
Byzantine identity alterations (where $T$ is the total number of training
rounds), while matching the asymptotic convergence rate of the static setting.
Our method combines a multi-level Monte Carlo (MLMC) gradient estimation
technique with robust aggregation of worker updates and incorporates a
fail-safe filter to limit bias from dynamic Byzantine strategies. Additionally,
by leveraging an adaptive learning rate, our approach eliminates the need for
knowing the percentage of Byzantine workers.
- Abstract(参考訳): byzantine-robust learningは、フォールトトレラントな分散機械学習フレームワークとして登場した。
しかし、ほとんどの技法は静的な設定を考慮し、ビザンチンマシンのアイデンティティは学習プロセス中に固定されている。
この仮定は、一時的な機能不全や標的の時空攻撃を含む現実世界の動的ビザンチンの挙動を捉えていない。
この制限に対処するために、$\textsf{dynabro}$ -\mathcal{o}(\sqrt{t})$のビザンチンアイデンティティ変更(ここで$t$はトレーニングラウンドの総数)に耐えられる新しいメソッドを提案し、静的設定の漸近収束率と一致させる。
本手法は,マルチレベルモンテカルロ勾配推定手法と作業者の更新の堅牢な集約を組み合わせ,動的ビザンティン戦略からのバイアスを制限するためにフェールセーフフィルタを組み込む。
さらに,適応学習率を活用することで,ビザンティン労働者の割合を知る必要がなくなる。
関連論文リスト
- A Robust Classification Framework for Byzantine-Resilient Stochastic
Gradient Descent [3.5450828190071655]
本稿では,分散勾配勾配におけるビザンチン耐故障性のためのロバスト勾配分類フレームワーク(RGCF)を提案する。
RGCFはワーカ数に依存しない。パフォーマンスを損なうことなく、多数のワーカを抱えるトレーニングインスタンスまでスケールアップすることができる。
論文 参考訳(メタデータ) (2023-01-16T10:40:09Z) - Robust Federated Learning via Over-The-Air Computation [48.47690125123958]
オーバー・ザ・エア計算によるモデル更新の簡易な平均化により、学習タスクは悪意のあるクライアントのローカルモデル更新のランダムまたは意図した変更に対して脆弱になる。
本稿では,このような攻撃に対して,フェデレート学習のためのオーバー・ザ・エア計算の利点を保ちながら,ロバストな伝達と集約の枠組みを提案する。
論文 参考訳(メタデータ) (2021-11-01T19:21:21Z) - Stochastic Alternating Direction Method of Multipliers for
Byzantine-Robust Distributed Learning [22.835940007753376]
分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。
理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。
MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2021-06-13T01:17:31Z) - Simeon -- Secure Federated Machine Learning Through Iterative Filtering [74.99517537968161]
連合学習は、分散的で相互に信頼できない学習エージェントによって、グローバルな機械学習モデルを協調的に訓練することを可能にする。
グローバルモデルは、トレーニングを行うクライアントに配布され、新しく訓練されたモデルを優れたモデルに集約します。
ビザンチン耐性アグリゲーションアルゴリズムのクラスが出現し、これらの攻撃に対して様々な堅牢性を提供している。
本稿では,評価に基づく反復フィルタリング手法を適用した新しいアグリゲーション手法であるSimeonを提案する。
論文 参考訳(メタデータ) (2021-03-13T12:17:47Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳(メタデータ) (2020-12-28T17:19:32Z) - Learning from History for Byzantine Robust Optimization [52.68913869776858]
分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。
既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
論文 参考訳(メタデータ) (2020-12-18T16:22:32Z) - Byzantine-Robust Variance-Reduced Federated Learning over Distributed
Non-i.i.d. Data [36.99547890386817]
我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。
不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。
Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
論文 参考訳(メタデータ) (2020-09-17T09:09:23Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - Byzantine-Robust Decentralized Stochastic Optimization over Static and
Time-Varying Networks [25.15075119957447]
我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。
一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。
ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。
提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
論文 参考訳(メタデータ) (2020-05-12T04:18:39Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳(メタデータ) (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。