論文の概要: Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity

• arxiv url: http://arxiv.org/abs/2302.01772v1
• Date: Fri, 3 Feb 2023 14:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:00:14.075934
• Title: Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity
• Title（参考訳）: 混合による固定:異種性を考慮した最適ビザンチンMLの準備
• Authors: Youssef Allouah, Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot, John Stephan
• Abstract要約: Byzantine Machine Learning (ML)は、分散学習アルゴリズムの回復力を確保することを目的としている。 以前の研究はしばしば、マシンが保持するデータは均質であると仮定するが、実際的な設定ではそうではない。 本稿では, 理論的ギャップを埋め, 最適性を達成し, 良好な実験結果を得る。
• 参考スコア（独自算出の注目度）: 7.250306457887471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine machine learning (ML) aims to ensure the resilience of distributed learning algorithms to misbehaving (or Byzantine) machines. Although this problem received significant attention, prior works often assume the data held by the machines to be homogeneous, which is seldom true in practical settings. Data heterogeneity makes Byzantine ML considerably more challenging, since a Byzantine machine can hardly be distinguished from a non-Byzantine outlier. A few solutions have been proposed to tackle this issue, but these provide suboptimal probabilistic guarantees and fare poorly in practice. This paper closes the theoretical gap, achieving optimality and inducing good empirical results. In fact, we show how to automatically adapt existing solutions for (homogeneous) Byzantine ML to the heterogeneous setting through a powerful mechanism, we call nearest neighbor mixing (NNM), which boosts any standard robust distributed gradient descent variant to yield optimal Byzantine resilience under heterogeneity. We obtain similar guarantees (in expectation) by plugging NNM in the distributed stochastic heavy ball method, a practical substitute to distributed gradient descent. We obtain empirical results that significantly outperform state-of-the-art Byzantine ML solutions.
• Abstract（参考訳）: Byzantine Machine Learning (ML)は、分散学習アルゴリズムの回復力を確保することを目的としている。 この問題は大きな注目を集めたが、先行研究はしばしばマシンが保持するデータは均質であると仮定しており、実際的な環境ではほとんど当てはまらない。 ビザンチンマシンは非ビザンチン異常機と区別できないため、データの多様性はビザンチンmlをかなり困難にする。 この問題に取り組むためにいくつかの解決策が提案されているが、これらは準最適確率的保証を提供し、実際には不利である。 本稿では, 理論的ギャップを埋め, 最適性を達成し, 良好な実験結果を得る。 実際、既存の(均質な)ビザンチンmlの解を自動的にヘテロジニアス・ミキシング(nnm)と呼ぶ強力な機構によってヘテロジニアス設定に適応させる方法を示す。 分布勾配降下の実用的な代用として, 分布確率的重球法において, nnmを挿入することにより, 同様の保証を得る。 我々は、最先端のビザンチンMLソリューションを著しく上回る実験結果を得た。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training [8.419845742978985]
  分散機械学習(ML)システムにおけるビザンチン・ロバスト学習の挑戦的枠組みについて検討する。 最初のコントリビューションは,ベースラインアグリゲータを最適なパフォーマンスレベルにアップグレードする,効率的なメタアグリゲータの導入です。 本稿では,ビザンチン・ロバスト訓練の理論的および実践的優位性,特にチューニングプロセスの簡略化について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:29:30Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
  ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。 強凸の場合、新しい方法の非漸近収束保証を導出する。
  論文  参考訳（メタデータ） (2023-03-08T13:20:49Z)
• Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums [7.778461949427662]
  分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。 本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:14:50Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks [25.15075119957447]
  我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。 一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。 ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。 提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
  論文  参考訳（メタデータ） (2020-05-12T04:18:39Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。