論文の概要: Buffered Asynchronous SGD for Byzantine Learning

• arxiv url: http://arxiv.org/abs/2003.00937v4
• Date: Mon, 31 Jan 2022 13:14:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:21:11.157904
• Title: Buffered Asynchronous SGD for Byzantine Learning
• Title（参考訳）: ビザンチン学習のためのバッファ付き非同期SGD
• Authors: Yi-Rui Yang, Wu-Jun Li
• Abstract要約: ビザンティン学習(Byzantine Learning、BL)は、障害や攻撃を伴う分散学習を指す。 BASGDは、サーバにインスタンスを格納することなく、異常な攻撃に抵抗できる最初のABLメソッドである。 BASGDmは非全能攻撃と全能攻撃の両方に抵抗できる。
• 参考スコア（独自算出の注目度）: 30.29353076500323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning has become a hot research topic due to its wide application in clusterbased large-scale learning, federated learning, edge computing and so on. Most traditional distributed learning methods typically assume no failure or attack. However, many unexpected cases, such as communication failure and even malicious attack, may happen in real applications. Hence, Byzantine learning (BL), which refers to distributed learning with failure or attack, has recently attracted much attention. Most existing BL methods are synchronous, which are impractical in some applications due to heterogeneous or offline workers. In these cases, asynchronous BL (ABL) is usually preferred. In this paper, we propose a novel method, called buffered asynchronous stochastic gradient descent (BASGD), for ABL. To the best of our knowledge, BASGD is the first ABL method that can resist non-omniscient attacks without storing any instances on server. Furthermore, we also propose an improved variant of BASGD, called BASGD with momentum (BASGDm), by introducing momentum into BASGD. BASGDm can resist both non-omniscient and omniscient attacks. Compared with those methods which need to store instances on server, BASGD and BASGDm have a wider scope of application. Both BASGD and BASGDm are compatible with various aggregation rules. Moreover, both BASGD and BASGDm are proved to be convergent and be able to resist failure or attack. Empirical results show that our methods significantly outperform existing ABL baselines when there exists failure or attack on workers.
• Abstract（参考訳）: クラスタベースの大規模学習、フェデレーション学習、エッジコンピューティングなど、幅広い応用により、分散学習はホットな研究テーマになっている。 従来の分散学習手法はたいてい、失敗や攻撃を前提としない。 しかし、通信障害や悪意のある攻撃など、予期せぬ多くのケースは実際のアプリケーションで起こりうる。 そのため、障害や攻撃を伴う分散学習を指すビザンティン学習(BL)が近年注目を集めている。 既存のblメソッドの多くは同期であり、ヘテロジニアスまたはオフラインワーカーのため、いくつかのアプリケーションでは実用的でない。 このような場合、非同期BL(ABL)が好まれる。 本稿では,ablのためのbuffered asynchronous stochastic gradient background (basgd) という新しい手法を提案する。 私たちの知る限りでは、basgdはサーバにインスタンスを保存せずに非omniscient攻撃に抵抗できる最初のablメソッドです。 さらに,basgdに運動量を導入することで,basgd with momentum (basgdm) と呼ばれる改良型のbasgdを提案する。 BASGDmは非全能攻撃と全能攻撃の両方に抵抗できる。 インスタンスをサーバに保存するために必要なメソッドと比較すると、BASGDとBASGDmはアプリケーションの範囲が広い。 BASGDとBASGDmはどちらも様々なアグリゲーションルールと互換性がある。 さらに、BASGDとBASGDmはどちらも収束し、障害や攻撃に抵抗できることが証明されている。 実験の結果,作業者に対する障害や攻撃が発生した場合,既存のABLベースラインを著しく上回ることがわかった。

関連論文リスト

• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 近年、拡散モデルはGANの非敵対的な代替品として出現している。 提案手法は, 様々な連続制御問題に対して, GANスタイルの模倣学習ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Hyperbolic Face Anti-Spoofing [21.981129022417306]
  双曲空間におけるよりリッチな階層的および差別的なスプーフィングキューを学習することを提案する。 単調なFAS学習では、特徴埋め込みはポアンカーボールに投影され、双対対対数回帰層は分類のためにカスケードされる。 双曲空間における消失勾配問題を緩和するために,双曲モデルのトレーニング安定性を高めるために,新しい特徴クリッピング法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:18:21Z)
• BOBA: Byzantine-Robust Federated Learning with Label Skewness [39.75185862573534]
  連合学習において、既存のロバストアグリゲーションルール(AGR)は、IID設定でビザンツ攻撃と戦う。 ラベルスキューネス(ラベルスキューネス)は、より現実的で挑戦的な非IID設定であり、各クライアントはいくつかのデータクラスにしかアクセスできない。 この設定では、最先端のAGRは選択バイアスに悩まされ、特定のクラスのパフォーマンスが大幅に低下する。 これらの制約に対処するために,BOBAという2段階の効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-08-27T05:54:43Z)
• Automated Imbalanced Classification via Layered Learning [0.734084539365505]
  トレーニングインスタンスのクラス分布のバランスをとるために再サンプリング戦略を適用することは、これらの問題に対処するための一般的なアプローチである。 多くの最先端の手法は、再サンプリングプロセスを実行するために決定境界に近い関心の事例を見つける。 オーバーサンプリングは、少数層からインスタンスに含まれる情報を伝播することで、過度に適合する可能性を高める可能性がある。
  論文  参考訳（メタデータ） (2022-05-05T10:32:24Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Block Switching: A Stochastic Approach for Deep Learning Security [75.92824098268471]
  近年の敵対的攻撃の研究は、現代のディープラーニングモデルの脆弱性を明らかにしている。 本稿では、オン性に基づく敵攻撃に対する防御戦略であるBlock Switching(BS)を紹介する。
  論文  参考訳（メタデータ） (2020-02-18T23:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。