論文の概要: Aspis: A Robust Detection System for Distributed Learning

• arxiv url: http://arxiv.org/abs/2108.02416v1
• Date: Thu, 5 Aug 2021 07:24:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 22:56:02.937176
• Title: Aspis: A Robust Detection System for Distributed Learning
• Title（参考訳）: Aspis:分散学習のためのロバスト検出システム
• Authors: Konstantinos Konstantinidis, Aditya Ramamoorthy
• Abstract要約: 機械学習システムは、いくつかのコンピューティングデバイスが異常(ビザンティン)な振る舞いを示すときに、妥協される。 提案手法は,サブセットベースの代入を用いて作業ノードに勾配計算を割り当てる。 我々は、弱強攻撃下でのビザンチンの弾力性とアスピスの検出の保証を証明し、様々な大規模訓練シナリオにおいてシステムを広範囲に評価する。
• 参考スコア（独自算出の注目度）: 13.90938823562779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State of the art machine learning models are routinely trained on large scale distributed clusters. Crucially, such systems can be compromised when some of the computing devices exhibit abnormal (Byzantine) behavior and return arbitrary results to the parameter server (PS). This behavior may be attributed to a plethora of reasons including system failures and orchestrated attacks. Existing work suggests robust aggregation and/or computational redundancy to alleviate the effect of distorted gradients. However, most of these schemes are ineffective when an adversary knows the task assignment and can judiciously choose the attacked workers to induce maximal damage. Our proposed method Aspis assigns gradient computations to worker nodes using a subset-based assignment which allows for multiple consistency checks on the behavior of a worker node. Examination of the calculated gradients and post-processing (clique-finding in an appropriately constructed graph) by the central node allows for efficient detection and subsequent exclusion of adversaries from the training process. We prove the Byzantine resilience and detection guarantees of Aspis under weak and strong attacks and extensively evaluate the system on various large-scale training scenarios. The main metric for our experiments is the test accuracy for which we demonstrate significant improvement of about 30% compared to many state-of-the-art approaches on the CIFAR-10 dataset. The corresponding reduction of the fraction of corrupted gradients ranges from 16% to 98%.
• Abstract（参考訳）: 最先端の機械学習モデルは、大規模分散クラスタで定期的にトレーニングされる。 このようなシステムは、一部のコンピュータ装置が異常(ビザンチン)な振る舞いを示し、パラメータサーバ(PS)に任意の結果を返すと、危うくなりかねない。 この行動は、システム障害やアタックのオーケストレーションなど、多くの理由によって引き起こされる可能性がある。 既存の研究は、歪んだ勾配の効果を緩和するためにロバストなアグリゲーションと計算冗長性が示唆されている。 しかし、ほとんどのスキームは、敵がタスクの割り当てを知っていて、攻撃された労働者を司法的に選別して最大被害を誘発できる場合、効果がない。 提案手法は,ワーカノードの動作に対する複数の整合性チェックを可能にするサブセットベースの割り当てを用いて,ワーカノードに勾配計算を割り当てる。 中央ノードによる計算された勾配と後処理(適切に構築されたグラフの傾き)の検証は、学習プロセスから敵を効率的に検出し、それに続く排除を可能にする。 我々は,aspiの弱大かつ強大な攻撃下での弾力性と検出の保証を実証し,様々な大規模訓練シナリオにおいてシステムを広範囲に評価した。 実験の主な指標は,CIFAR-10データセットにおける多くの最先端アプローチと比較して,約30%の大幅な改善を示すテスト精度である。 劣化した勾配の割合は16%から98%に減少する。

関連論文リスト

• Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
  敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。 我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。 検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
  論文  参考訳（メタデータ） (2024-11-21T17:46:55Z)
• Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
  本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。 提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T17:02:35Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Quantile-based Maximum Likelihood Training for Outlier Detection [5.902139925693801]
  我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。 本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
  論文  参考訳（メタデータ） (2023-08-20T22:27:54Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering [32.904425716385575]
  勾配ベクトルの要素ワイドサインは, モデル中毒攻撃の検出に有用であることを示す。 そこで本稿では,Byzantine-robust フェデレーション学習を有害な勾配フィルタリングによって実現するための textitSignGuard という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-13T11:15:15Z)
• LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning [10.667821026727573]
  フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。 対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。 LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-26T21:34:45Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• ByzShield: An Efficient and Robust System for Distributed Training [12.741811850885309]
  本研究では、敵が労働者の勾配の割り当てについて十分な知識を持つような全知的な攻撃モデルについて考察する。 冗長性に基づくByzShield法は,作業者へのタスクの割り当てにバイパートイト展開グラフの特性を利用する。 CIFAR-10データセットで画像分類を行った結果,ByzShieldの精度は20%向上した。
  論文  参考訳（メタデータ） (2020-10-10T04:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。