論文の概要: Utilizing Redundancy in Cost Functions for Resilience in Distributed Optimization and Learning

• arxiv url: http://arxiv.org/abs/2110.10858v1
• Date: Thu, 21 Oct 2021 02:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 18:19:18.870227
• Title: Utilizing Redundancy in Cost Functions for Resilience in Distributed Optimization and Learning
• Title（参考訳）: 分散最適化と学習におけるレジリエンスのためのコスト関数の冗長性の利用
• Authors: Shuo Liu, Nirupam Gupta, Nitin Vaidya
• Abstract要約: 本稿では,サーバアーキテクチャにおけるレジリエントな分散最適化と機械学習の問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントはローカルなコスト関数を持つ。 エージェントのいくつかが非同期で、/またはビザンティンの欠陥がある場合を考えます。
• 参考スコア（独自算出の注目度）: 1.8414221462731502
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper considers the problem of resilient distributed optimization and stochastic machine learning in a server-based architecture. The system comprises a server and multiple agents, where each agent has a local cost function. The agents collaborate with the server to find a minimum of their aggregate cost functions. We consider the case when some of the agents may be asynchronous and/or Byzantine faulty. In this case, the classical algorithm of distributed gradient descent (DGD) is rendered ineffective. Our goal is to design techniques improving the efficacy of DGD with asynchrony and Byzantine failures. To do so, we start by proposing a way to model the agents' cost functions by the generic notion of $(f, \,r; \epsilon)$-redundancy where $f$ and $r$ are the parameters of Byzantine failures and asynchrony, respectively, and $\epsilon$ characterizes the closeness between agents' cost functions. This allows us to quantify the level of redundancy present amongst the agents' cost functions, for any given distributed optimization problem. We demonstrate, both theoretically and empirically, the merits of our proposed redundancy model in improving the robustness of DGD against asynchronous and Byzantine agents, and their extensions to distributed stochastic gradient descent (D-SGD) for robust distributed machine learning with asynchronous and Byzantine agents.
• Abstract（参考訳）: 本稿では,サーバアーキテクチャにおけるレジリエント分散最適化と確率的機械学習の問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントはローカルなコスト関数を持つ。 エージェントはサーバと協調して、彼らの総コスト関数の最小値を見つける。 エージェントのいくつかが非同期で、あるいはビザンチンに障害がある場合を考える。 この場合、分散勾配降下法(DGD)の古典的アルゴリズムは非効率である。 我々の目標は、非同期およびビザンチン障害によるDGDの有効性を改善する技術の設計である。 f, \,r; \epsilon)$-冗長(ここで、$f$ と $r$ はそれぞれビザンチン失敗と非同期のパラメータであり、$\epsilon$ はエージェントのコスト関数間の密接性を特徴付ける。 これにより、任意の分散最適化問題に対して、エージェントのコスト関数に含まれる冗長性のレベルを定量化できる。 提案する冗長性モデルにより,非同期およびビザンチンエージェントに対するdgdのロバスト性向上と,非同期およびビザンチンエージェントを用いたロバスト分散機械学習のための分散確率勾配降下(d-sgd)への拡張が実証された。

関連論文リスト

• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Impact of Redundancy on Resilience in Distributed Optimization and Learning [4.664766612388049]
  本稿では,サーバアーキテクチャにおける分散最適化と学習のレジリエンスの問題について考察する。 システムはサーバと複数のエージェントから構成され、各エージェントは独自のローカルコスト関数を持つ。 局所コスト関数が十分冗長であることを考えると、実際に$(f, r; epsilon)$-レジリエンスが達成できることが示される。
  論文  参考訳（メタデータ） (2022-11-16T02:23:34Z)
• Federated Learning Using Variance Reduced Stochastic Gradient for Probabilistically Activated Agents [0.0]
  本稿では,各エージェントが各反復において任意の選択の確率を持つような最適解に対して,分散低減と高速収束率の両方を達成する2層構造を持つフェデレートラーニング(FL)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-25T22:04:49Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Learning Dynamic Mechanisms in Unknown Environments: A Reinforcement Learning Approach [130.9259586568977]
  本稿では,複数ラウンドの対話を通して動的ビックレー・クラーク・グローブ(VCG)機構を回復するための新しい学習アルゴリズムを提案する。 当社のアプローチの重要な貢献は、報酬のないオンライン強化学習(RL)を取り入れて、リッチな政策分野の探索を支援することである。
  論文  参考訳（メタデータ） (2022-02-25T16:17:23Z)
• Byzantine Fault-Tolerance in Federated Local SGD under 2f-Redundancy [1.7188280334580197]
  フェデレーション機械学習におけるビザンチンフォールトトレランスの問題点を考察する。 故障のない環境では、エージェントはコーディネータと協力し、局所的なコスト関数の集合の最小化を見つける。 我々は,2f$-redundancy以下では,CE を用いた局所アルゴリズムで正確なフォールトトレランスが得られることを示す。
  論文  参考訳（メタデータ） (2021-08-26T13:04:28Z)
• On Accelerating Distributed Convex Optimizations [0.0]
  本稿では,分散マルチエージェント凸最適化問題について検討する。 提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。 実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T13:19:54Z)
• VCG Mechanism Design with Unknown Agent Values under Stochastic Bandit Feedback [104.06766271716774]
  本研究では,エージェントが自己の価値を知らない場合に,マルチラウンドの福祉最大化機構設計問題について検討する。 まず、福祉に対する後悔の3つの概念、各エージェントの個々のユーティリティ、メカニズムの3つの概念を定義します。 当社のフレームワークは価格体系を柔軟に制御し、エージェントと販売者の後悔のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2020-04-19T18:00:58Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。