論文の概要: Byzantine-Robust Decentralized Stochastic Optimization over Static and
Time-Varying Networks
- arxiv url: http://arxiv.org/abs/2005.06276v2
- Date: Fri, 18 Dec 2020 04:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 18:41:17.413952
- Title: Byzantine-Robust Decentralized Stochastic Optimization over Static and
Time-Varying Networks
- Title（参考訳）: 静的・時変ネットワーク上のビザンチン・ロブスト分散確率最適化
- Authors: Jie Peng, Weiyu Li, Qing Ling
- Abstract要約: 我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。
一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。
ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。
提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
- 参考スコア（独自算出の注目度）: 25.15075119957447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider the Byzantine-robust stochastic optimization
problem defined over decentralized static and time-varying networks, where the
agents collaboratively minimize the summation of expectations of stochastic
local cost functions, but some of the agents are unreliable due to data
corruptions, equipment failures or cyber-attacks. The unreliable agents, which
are called as Byzantine agents thereafter, can send faulty values to their
neighbors and bias the optimization process. Our key idea to handle the
Byzantine attacks is to formulate a total variation (TV) norm-penalized
approximation of the Byzantine-free problem, where the penalty term forces the
local models of regular agents to be close, but also allows the existence of
outliers from the Byzantine agents. A stochastic subgradient method is applied
to solve the penalized problem. We prove that the proposed method reaches a
neighborhood of the Byzantine-free optimal solution, and the size of
neighborhood is determined by the number of Byzantine agents and the network
topology. Numerical experiments corroborate the theoretical analysis, as well
as demonstrate the robustness of the proposed method to Byzantine attacks and
its superior performance comparing to existing methods.
- Abstract（参考訳）: 本稿では,分散静的・時変ネットワーク上で定義されるビザンチン・ロバスト確率最適化問題について考察し,確率的局所コスト関数の期待値の総和を協調的に最小化するが,データ破損や機器故障,サイバー攻撃などにより信頼できないエージェントもいくつかある。
その後ビザンチンエージェントと呼ばれる信頼できないエージェントは、故障した値を隣人に送信し、最適化プロセスをバイアスすることができる。
ビザンチン攻撃に対処するための我々の重要なアイデアは、ビザンチンフリー問題の完全変分法(tv)の近似を定式化することであり、ペナルティ項は正規エージェントの局所モデルに近づくことを強いるが、ビザンチンエージェントからの外れ値の存在も許す。
ペナリゼーション問題を解くために確率的劣勾配法が適用される。
提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
数値実験は理論的解析とビザンチン攻撃に対する提案手法のロバスト性および既存の手法と比較して優れた性能を示す。
関連論文リスト
- Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。
現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。
本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
論文 参考訳（メタデータ） (2023-11-23T17:50:30Z) - Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。
強凸の場合、新しい方法の非漸近収束保証を導出する。
論文 参考訳（メタデータ） (2023-03-08T13:20:49Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Robust Distributed Optimization With Randomly Corrupted Gradients [24.253191879453784]
本研究では, ビザンチンの故障に頑健で, 潜在的に敵対的な挙動を示す一階分散最適化アルゴリズムを提案する。
我々のアルゴリズムは順序正規化と信頼に値する統計的誤差収束率を達成する。
論文 参考訳（メタデータ） (2021-06-28T19:45:25Z) - Stochastic Alternating Direction Method of Multipliers for
Byzantine-Robust Distributed Learning [22.835940007753376]
分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。
理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。
MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-06-13T01:17:31Z) - Escaping Saddle Points in Distributed Newton's Method with Communication
efficiency and Byzantine Resilience [49.379254729853756]
我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。
キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。
提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
論文 参考訳（メタデータ） (2021-03-17T03:53:58Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳（メタデータ） (2020-12-28T17:19:32Z) - Learning from History for Byzantine Robust Optimization [52.68913869776858]
分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。
既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
論文 参考訳（メタデータ） (2020-12-18T16:22:32Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳（メタデータ） (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。