論文の概要: Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient

• arxiv url: http://arxiv.org/abs/2303.04560v1
• Date: Wed, 8 Mar 2023 13:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 14:04:53.655643
• Title: Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient
• Title（参考訳）: ビザンチン-ロバストループレス確率分散還元勾配
• Authors: Nikita Fedin, Eduard Gorbunov
• Abstract要約: ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。 強凸の場合、新しい方法の非漸近収束保証を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed optimization with open collaboration is a popular field since it provides an opportunity for small groups/companies/universities, and individuals to jointly solve huge-scale problems. However, standard optimization algorithms are fragile in such settings due to the possible presence of so-called Byzantine workers -- participants that can send (intentionally or not) incorrect information instead of the one prescribed by the protocol (e.g., send anti-gradient instead of stochastic gradients). Thus, the problem of designing distributed methods with provable robustness to Byzantine workers has been receiving a lot of attention recently. In particular, several works consider a very promising way to achieve Byzantine tolerance via exploiting variance reduction and robust aggregation. The existing approaches use SAGA- and SARAH-type variance-reduced estimators, while another popular estimator -- SVRG -- is not studied in the context of Byzantine-robustness. In this work, we close this gap in the literature and propose a new method -- Byzantine-Robust Loopless Stochastic Variance Reduced Gradient (BR-LSVRG). We derive non-asymptotic convergence guarantees for the new method in the strongly convex case and compare its performance with existing approaches in numerical experiments.
• Abstract（参考訳）: オープンなコラボレーションによる分散最適化は、小さなグループ/コンポーネント/大学、個人が巨大な問題を共同で解決する機会を提供するため、一般的な分野です。 しかし、標準的な最適化アルゴリズムは、いわゆるビザンチン労働者の存在によって、このような設定では脆弱である -- プロトコルによって規定されるものの代わりに間違った情報を送信(意図的かそうでないか)できる参加者(例えば、確率的勾配の代わりに反勾配を送る)。 このように、ビザンチン労働者に証明可能な堅牢性を持つ分散手法を設計する問題は近年注目されている。 特に、いくつかの作品は分散還元とロバストアグリゲーションを利用してビザンチン耐性を達成する非常に有望な方法と考えている。 既存のアプローチでは,SAGA型およびSARAH型分散再現型推定器が用いられているが,Byzantine-robustnessではSVRGは研究されていない。 本研究では,文献のこのギャップを埋め,Byzantine-Robust Loopless Stochastic Variance Reduced Gradient (BR-LSVRG) という新しい手法を提案する。 強凸の場合の新手法に対する非漸近収束保証を導出し,その性能を数値実験における既存の手法と比較する。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
  グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。 クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
  論文  参考訳（メタデータ） (2023-10-03T07:49:17Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning [22.835940007753376]
  分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-13T01:17:31Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data [36.99547890386817]
  我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。 不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。 Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
  論文  参考訳（メタデータ） (2020-09-17T09:09:23Z)
• Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks [25.15075119957447]
  我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。 一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。 ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。 提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
  論文  参考訳（メタデータ） (2020-05-12T04:18:39Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。