論文の概要: Distributed Momentum for Byzantine-resilient Learning

• arxiv url: http://arxiv.org/abs/2003.00010v2
• Date: Mon, 9 Mar 2020 09:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 02:55:42.596787
• Title: Distributed Momentum for Byzantine-resilient Learning
• Title（参考訳）: ビザンチン耐性学習のための分散モーメント
• Authors: El-Mahdi El-Mhamdi, Rachid Guerraoui, S\'ebastien Rouault
• Abstract要約: 作業者における計算運動量は,サーバにおける推定勾配の分散-ノルム比を減少させることを示す。 次に、分散SGDにおける労働者側運動量によるロバスト性効果の広範な実験実験を行った。
• 参考スコア（独自算出の注目度）: 10.398909602421018
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Momentum is a variant of gradient descent that has been proposed for its benefits on convergence. In a distributed setting, momentum can be implemented either at the server or the worker side. When the aggregation rule used by the server is linear, commutativity with addition makes both deployments equivalent. Robustness and privacy are however among motivations to abandon linear aggregation rules. In this work, we demonstrate the benefits on robustness of using momentum at the worker side. We first prove that computing momentum at the workers reduces the variance-norm ratio of the gradient estimation at the server, strengthening Byzantine resilient aggregation rules. We then provide an extensive experimental demonstration of the robustness effect of worker-side momentum on distributed SGD.
• Abstract（参考訳）: 運動量は収束の利点として提案されている勾配降下の変種である。 分散環境では、サーバ側またはワーカ側の両方で運動量を実装することができる。 サーバが使用する集約ルールが線形である場合、追加による可換性は両方の配置を同等にする。 しかし、ロバスト性やプライバシーは、線形集約ルールを捨てる動機のひとつだ。 本研究では,作業者側での運動量の使用のロバスト性に関する利点を実証する。 まず,作業者の計算モーメントがサーバの勾配推定の分散ノルム比を減少させ,ビザンチン回復性集約ルールを強化することを証明した。 次に,分散sgdに対する作業者側運動量のロバスト性効果の広範な実証実験を行った。

関連論文リスト

• Generalization vs. Specialization under Concept Shift [12.196508752999797]
  機械学習モデルは、分散シフトの下では不安定であることが多い。 二重降下が欠如している場合でも,テスト性能が非単調なデータ依存を示すことを示す。 MNISTとFashionMNISTの実験は、この興味深い挙動が分類問題にも存在することを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T22:30:28Z)
• On the Role of Server Momentum in Federated Learning [85.54616432098706]
  a)フェデレートラーニング(FL)において未探索な大量のモーメントスキームを網羅するサーバモーメントの一般的な枠組みを提案する。 提案するフレームワークに対して厳密な収束解析を行う。
  論文  参考訳（メタデータ） (2023-12-19T23:56:49Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums [7.778461949427662]
  分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。 本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:14:50Z)
• On the Hyperparameters in Stochastic Gradient Descent with Momentum [6.396288020763144]
  本稿では,運動量を伴う勾配降下理論(SGD)について述べる。 以上の結果から,SGD の正の線形速度は,SGD が0 から0 に増加するにつれて変化し,SGD の線形速度が変化することを示す。 最後に、この速度下での代理運動量と運動量との本質的な違いは示さない。
  論文  参考訳（メタデータ） (2021-08-09T11:25:03Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection [0.913755431537592]
  アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
  論文  参考訳（メタデータ） (2021-04-23T13:55:17Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
  エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする 本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。 提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。