論文の概要: Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search

• arxiv url: http://arxiv.org/abs/2304.13540v1
• Date: Thu, 20 Apr 2023 17:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-30 07:20:57.067273
• Title: Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search
• Title（参考訳）: Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search
• Authors: Andrei Kucharavy, Matteo Monti, Rachid Guerraoui and Ljiljana Dolamic
• Abstract要約: 本研究では、勾配のないMLアルゴリズムと古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性分散学習アルゴリズムを生成することを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。
• 参考スコア（独自算出の注目度）: 6.461473289206789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning (ML) models are capable of impressive performances. However, their prowess is not due only to the improvements in their architecture and training algorithms but also to a drastic increase in computational power used to train them. Such a drastic increase led to a growing interest in distributed ML, which in turn made worker failures and adversarial attacks an increasingly pressing concern. While distributed byzantine resilient algorithms have been proposed in a differentiable setting, none exist in a gradient-free setting. The goal of this work is to address this shortcoming. For that, we introduce a more general definition of byzantine-resilience in ML - the \textit{model-consensus}, that extends the definition of the classical distributed consensus. We then leverage this definition to show that a general class of gradient-free ML algorithms - ($1,\lambda$)-Evolutionary Search - can be combined with classical distributed consensus algorithms to generate gradient-free byzantine-resilient distributed learning algorithms. We provide proofs and pseudo-code for two specific cases - the Total Order Broadcast and proof-of-work leader election.
• Abstract（参考訳）: 現代の機械学習(ML)モデルは印象的なパフォーマンスを実現している。 しかし、その強みは、彼らのアーキテクチャとトレーニングアルゴリズムの改善だけでなく、それら訓練に使用する計算能力の大幅な増加によるものである。 このような急激な増加により、分散MLへの関心が高まり、労働者の失敗と敵の攻撃がますます懸念されるようになった。 分散ビザンチンレジリエントアルゴリズムは、微分可能な設定で提案されているが、勾配のない設定では存在しない。 この作業の目標は、この欠点に対処することだ。 そのために、古典的な分散コンセンサスの定義を拡張した、ML におけるビザンチンレジリエンスのより一般的な定義である \textit{model-consensus} を導入する。 この定義を利用して、勾配のないMLアルゴリズムの一般クラス($1,\lambda$)-進化的探索)と古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性の分散学習アルゴリズムを生成することができることを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
  本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。 本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T23:31:01Z)
• Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
  クラスタリングは教師なし学習における基本的なプリミティブである。 最近の研究は、低次手法のクラスに対する低い境界を確立している。 意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
  論文  参考訳（メタデータ） (2021-12-07T18:50:17Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Screening for Sparse Online Learning [11.523471275501855]
  スパーシティ促進レギュラライザーは、低複素構造(例えば)を課すために広く使用されている。 l1-norm for sparsity) 教師付き学習の回帰係数に対する。 ほとんどのオンラインアルゴリズムは、ステップサイズと非消去の分散のためにプロパティを持っていません。 本稿では,オンラインアルゴリズムが生成するイテレートの不要な特徴を解消する方法を示し,有限なアクティビティ同定を強制する。
  論文  参考訳（メタデータ） (2021-01-18T10:40:47Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• ByGARS: Byzantine SGD with Arbitrary Number of Attackers [8.987350240289757]
  ビザンツの敵対者の存在下で分散機械学習のための2つの新しい計算アルゴリズムを提案する。 これらのアルゴリズムでは、評価スコアワーカはサーバの補助データセットを使用して計算される。 提案アルゴリズムは,複数種類の攻撃に対して同時に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T01:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。