論文の概要: Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing

• arxiv url: http://arxiv.org/abs/2006.09365v6
• Date: Wed, 22 Nov 2023 09:08:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 19:37:41.099560
• Title: Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing
• Title（参考訳）: バケットによる異種データセットのビザンチン・ロバスト学習
• Authors: Sai Praneeth Karimireddy, Lie He, Martin Jaggi
• Abstract要約: ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
• 参考スコア（独自算出の注目度）: 55.012801269326594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Byzantine robust distributed or federated learning, a central server wants to train a machine learning model over data distributed across multiple workers. However, a fraction of these workers may deviate from the prescribed algorithm and send arbitrary messages. While this problem has received significant attention recently, most current defenses assume that the workers have identical data. For realistic cases when the data across workers are heterogeneous (non-iid), we design new attacks which circumvent current defenses, leading to significant loss of performance. We then propose a simple bucketing scheme that adapts existing robust algorithms to heterogeneous datasets at a negligible computational cost. We also theoretically and experimentally validate our approach, showing that combining bucketing with existing robust algorithms is effective against challenging attacks. Our work is the first to establish guaranteed convergence for the non-iid Byzantine robust problem under realistic assumptions.
• Abstract（参考訳）: byzantine robust distributed or federated learningでは、中央サーバは複数のワーカーに分散したデータよりも機械学習モデルをトレーニングしたいと考えている。 しかし、一部の労働者は所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 この問題は近年大きな注目を集めているが、現在の弁護側は労働者が同じデータを持っていると仮定している。 労働者間のデータが異質な(非ID)場合、我々は現在の防御を回避し、パフォーマンスを著しく損なうような新たな攻撃を設計する。 次に,既存のロバストアルゴリズムを不均質なデータセットに適用する単純なバケットスキームを提案する。 また,提案手法を理論的,実験的に検証し,既存のロバストなアルゴリズムとバケットを組み合わせることによる攻撃に対する効果を示す。 我々の研究は、現実的な仮定の下で非iidビザンチンロバストな問題の収束を保証した最初のものである。

関連論文リスト

• A Linearly Convergent GAN Inversion-based Algorithm for Reverse Engineering of Deceptions [1.2891210250935146]
  本稿では, クリーンデータがGANの範囲内にあると仮定する, 偽装のリバースエンジニアリングのための新しい枠組みを提案する。 論文の中で初めて、この問題に対して決定論的線形収束を保証する。
  論文  参考訳（メタデータ） (2023-06-07T20:08:27Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks [29.34471516011148]
  分散学習システムでは、2つのソースから問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。 一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
  論文  参考訳（メタデータ） (2022-10-29T20:08:07Z)
• Securing Federated Learning against Overwhelming Collusive Attackers [7.587927338603662]
  局所モデル間の相関を利用して,最小スパンニング木とk-Densestグラフに基づく2つのグラフ理論アルゴリズムを提案する。 我々のFLモデルは、攻撃者の影響を最大70%まで無効にすることができる。 我々は、精度、攻撃成功率、早期検出ラウンドを用いて、既存のアルゴリズムよりもアルゴリズムの優位性を確立する。
  論文  参考訳（メタデータ） (2022-09-28T13:41:04Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。