論文の概要: Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment

• arxiv url: http://arxiv.org/abs/2307.07980v2
• Date: Thu, 9 Nov 2023 01:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 18:15:16.057847
• Title: Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
• Title（参考訳）: byzantine-robust分散オンライン学習: 敵の参加者を敵の環境に改ざんする
• Authors: Xingrong Dong, Zhaoxian Wu, Qing Ling, Zhi Tian
• Abstract要約: 本稿では,ビザンチン攻撃下でのオンライン学習について検討する。 本研究では, ビザンチン・ロバスト分散オンラインモーメントアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 47.63752647726183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies distributed online learning under Byzantine attacks. The performance of an online learning algorithm is often characterized by (adversarial) regret, which evaluates the quality of one-step-ahead decision-making when an environment provides adversarial losses, and a sublinear bound is preferred. But we prove that, even with a class of state-of-the-art robust aggregation rules, in an adversarial environment and in the presence of Byzantine participants, distributed online gradient descent can only achieve a linear adversarial regret bound, which is tight. This is the inevitable consequence of Byzantine attacks, even though we can control the constant of the linear adversarial regret to a reasonable level. Interestingly, when the environment is not fully adversarial so that the losses of the honest participants are i.i.d. (independent and identically distributed), we show that sublinear stochastic regret, in contrast to the aforementioned adversarial regret, is possible. We develop a Byzantine-robust distributed online momentum algorithm to attain such a sublinear stochastic regret bound. Extensive numerical experiments corroborate our theoretical analysis.
• Abstract（参考訳）: 本稿では,ビザンチン攻撃下でのオンライン学習について検討する。 オンライン学習アルゴリズムの性能は、しばしば(逆)後悔によって特徴づけられ、環境が対向的な損失を与えるときのワンステップ決定の質を評価し、サブ線形境界が好ましい。 しかし, 逆境環境やビザンチンの参加者の存在下では, 最先端の頑健な集約ルールのクラスであっても, オンライン勾配の分散は, 厳密な線形的反逆的後悔境界を達成できないことが証明された。 これはビザンツ攻撃の避けられない結果であり、線形敵の後悔の定数を合理的なレベルに制御することができる。 興味深いことに、正直な参加者の損失が無依存かつ均等に分配されるように環境が完全に敵対的でない場合は、上記の敵対的後悔とは対照的に、亜線形確率的後悔が可能となる。 そこで我々は, ビザンチン・ロバスト分散オンラインモーメントアルゴリズムを開発し, このような半線形確率的後悔境界を実現する。 大規模な数値実験は我々の理論解析を裏付ける。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Dynamic Environment Responsive Online Meta-Learning with Fairness Awareness [30.44174123736964]
  本稿では,FairSAOMLと呼ばれる,適応フェアネスを考慮したオンラインメタ学習アルゴリズムを提案する。 動的環境下での様々な実世界のデータセットに対する実験評価により,提案アルゴリズムが一貫した代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T17:44:35Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Adversarially Robust Stability Certificates can be Sample-Efficient [14.658040519472646]
  未知の非線形力学系に対する逆向きに頑健な安定性証明について考察する。 敵安定証明書を学習する統計的コストは,定型的安定性証明書を学習するのと同程度であることを示す。
  論文  参考訳（メタデータ） (2021-12-20T17:23:31Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Online learning with dynamics: A minimax perspective [25.427783092065546]
  本研究では,学習者が複数のラウンドでステートフルな環境と対話する,ダイナミックスを用いたオンライン学習の課題について検討する。 本研究の主な成果は,オンライン学習に十分な条件を提供することである。
  論文  参考訳（メタデータ） (2020-12-03T05:06:08Z)
• Temporal Variability in Implicit Online Learning [15.974402990630402]
  最強の後悔分析は、オンラインミラー・ダイスンよりも限界的な改善しか示さない。 損失関数列の時間的変動に依存する新しい静的な後悔境界を証明した。 本稿では、時間的変動の事前知識を必要とせずに、この後悔を抑える適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。