論文の概要: Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
- arxiv url: http://arxiv.org/abs/2205.12173v1
- Date: Tue, 24 May 2022 16:14:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:52:48.003251
- Title: Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
- Title（参考訳）: モーメントのレジリエント平均化によるビザンチン機械学習
- Authors: Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot,
John Stephan
- Abstract要約: 分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。
本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
- 参考スコア（独自算出の注目度）: 7.778461949427662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byzantine resilience emerged as a prominent topic within the distributed
machine learning community. Essentially, the goal is to enhance distributed
optimization algorithms, such as distributed SGD, in a way that guarantees
convergence despite the presence of some misbehaving (a.k.a., {\em Byzantine})
workers. Although a myriad of techniques addressing the problem have been
proposed, the field arguably rests on fragile foundations. These techniques are
hard to prove correct and rely on assumptions that are (a) quite unrealistic,
i.e., often violated in practice, and (b) heterogeneous, i.e., making it
difficult to compare approaches.
We present \emph{RESAM (RESilient Averaging of Momentums)}, a unified
framework that makes it simple to establish optimal Byzantine resilience,
relying only on standard machine learning assumptions. Our framework is mainly
composed of two operators: \emph{resilient averaging} at the server and
\emph{distributed momentum} at the workers. We prove a general theorem stating
the convergence of distributed SGD under RESAM. Interestingly, demonstrating
and comparing the convergence of many existing techniques become direct
corollaries of our theorem, without resorting to stringent assumptions. We also
present an empirical evaluation of the practical relevance of RESAM.
- Abstract（参考訳）: 分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。
基本的には、分散SGDのような分散最適化アルゴリズムを、不正行為(すなわちビザンティン)の労働者が存在するにもかかわらず収束を保証する方法で強化することを目的としている。
この問題に対処する数多くの技術が提案されているが、この分野は明らかに脆弱な基盤に依存している。
これらのテクニックは、正しいことを証明しにくく、仮定に依存する
a)非常に非現実的、すなわち、しばしば実践において違反された、そして
(b)異種、すなわち、アプローチの比較が困難である。
我々は、標準的な機械学習の仮定にのみ依存して、最適なビザンチンレジリエンスを確立するのを簡単にするための統一されたフレームワークである \emph{RESAM (RESilient Averaging of Momentums)} を提案する。
私たちのフレームワークは、主に2つのオペレータで構成されています:サーバの \emph{resilient averaging} とワーカーの \emph{distributed momentum} です。
分散SGDの収束を記述する一般定理をRESAMで証明する。
興味深いことに、多くの既存のテクニックの収束の証明と比較は、厳密な仮定を使わずに、定理の直接の仲間になる。
また,RESAMの実用的妥当性を実証的に評価した。
関連論文リスト
- Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。
堅牢性とコミュニケーションの保存に関する重要な課題に直面している。
本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
論文 参考訳（メタデータ） (2024-09-13T08:53:10Z) - f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization [9.591164070876689]
本稿では、f-divergence measures(f-FERM)に基づく公正な経験的リスクに対する統一的な最適化フレームワークを提案する。
さらに,f-FERMによるほぼ全てのバッチサイズに対するフェアネス・精度トレードオフの優位性を実証した。
我々の拡張は、不確実集合として$L_p$ノルムの下で f-FERM の目的を分布的に頑健に最適化する手法に基づいている。
論文 参考訳（メタデータ） (2023-12-06T03:14:16Z) - Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。
現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
論文 参考訳（メタデータ） (2023-11-23T17:50:30Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-29T09:41:19Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Adversarial Vulnerability of Randomized Ensembles [12.082239973914326]
ランダム化アンサンブルは、通常のATモデルよりも、知覚不能な逆方向の摂動に対して脆弱であることを示す。
本稿では,適応PGDが実現しなかった場合においても,ランダムアンサンブルを再現できる理論的・効率的な攻撃アルゴリズム(ARC)を提案する。
論文 参考訳（メタデータ） (2022-06-14T10:37:58Z) - Combining Differential Privacy and Byzantine Resilience in Distributed
SGD [9.14589517827682]
本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。
特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
論文 参考訳（メタデータ） (2021-10-08T09:23:03Z) - Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。
線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。
エンドツーエンドの分類のための堅牢性証明を提供する。
論文 参考訳（メタデータ） (2020-10-22T22:05:21Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。