論文の概要: Robust Distributed Optimization With Randomly Corrupted Gradients

• arxiv url: http://arxiv.org/abs/2106.14956v1
• Date: Mon, 28 Jun 2021 19:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:35:26.491123
• Title: Robust Distributed Optimization With Randomly Corrupted Gradients
• Title（参考訳）: ランダム崩壊勾配を用いたロバスト分散最適化
• Authors: Berkay Turan, Cesar A. Uribe, Hoi-To Wai, Mahnoosh Alizadeh
• Abstract要約: 本研究では, ビザンチンの故障に頑健で, 潜在的に敵対的な挙動を示す一階分散最適化アルゴリズムを提案する。 我々のアルゴリズムは順序正規化と信頼に値する統計的誤差収束率を達成する。
• 参考スコア（独自算出の注目度）: 24.253191879453784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a first-order distributed optimization algorithm that is provably robust to Byzantine failures-arbitrary and potentially adversarial behavior, where all the participating agents are prone to failure. We model each agent's state over time as a two-state Markov chain that indicates Byzantine or trustworthy behaviors at different time instants. We set no restrictions on the maximum number of Byzantine agents at any given time. We design our method based on three layers of defense: 1) Temporal gradient averaging, 2) robust aggregation, and 3) gradient normalization. We study two settings for stochastic optimization, namely Sample Average Approximation and Stochastic Approximation, and prove that for strongly convex and smooth non-convex cost functions, our algorithm achieves order-optimal statistical error and convergence rates.
• Abstract（参考訳）: 本稿では,すべてのエージェントが故障し易いビザンチン障害に対して頑健な一階分散最適化アルゴリズムを提案する。 我々は、各エージェントの状態を、異なるタイミングでビザンチンまたは信頼できる行動を示す2状態マルコフ連鎖としてモデル化する。 我々は任意の時刻にビザンチン剤の最大数に制限を課さない。 本手法は, 1) 時間勾配平均化, 2) 頑健な凝集, 3) 勾配正規化という3つの防衛層に基づいて設計する。 本研究では, 標本平均近似と確率近似の2つの確率的最適化について検討し, 強凸および滑らかな非凸コスト関数に対して, 次数最適統計誤差と収束率を達成することを証明した。

関連論文リスト

• Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
  STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。 本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
  論文  参考訳（メタデータ） (2024-07-07T07:07:04Z)
• Stochastic-Constrained Stochastic Optimization with Markovian Data [2.1756081703276]
  マルコフ連鎖からデータサンプルが引き出され、したがって独立性がなく、同一に分布しないような環境について検討する。 ドリフト・プラス・ペナルティの2つの変種を提案する。ひとつは、基礎となるマルコフ鎖の混合時間を知る場合である。 我々のアルゴリズムは、制約関数列がマルコフ連鎖に従うような制約付きオンライン凸最適化のより一般的な設定に適用できる。
  論文  参考訳（メタデータ） (2023-12-07T14:09:27Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Two-Timescale Stochastic Approximation for Bilevel Optimisation Problems in Continuous-Time Models [0.0]
  本研究では,連続時間モデルにおける二段階最適化問題に対する連続時間2時間スケール近似アルゴリズムの特性を解析する。 我々はこのアルゴリズムの弱収束率を中心極限定理の形で得る。
  論文  参考訳（メタデータ） (2022-06-14T17:12:28Z)
• Accelerating Stochastic Probabilistic Inference [1.599072005190786]
  変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。 最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。 我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
  論文  参考訳（メタデータ） (2022-03-15T01:19:12Z)
• A Two-Time-Scale Stochastic Optimization Framework with Applications in Control and Reinforcement Learning [13.908826484332282]
  最適化問題の解法として,新しい2段階勾配法を提案する。 最初の貢献は、提案した2時間スケール勾配アルゴリズムの有限時間複雑性を特徴づけることである。 我々は、強化学習における勾配に基づく政策評価アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2021-09-29T23:15:23Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。