論文の概要: Distributed Statistical Min-Max Learning in the Presence of Byzantine Agents

• arxiv url: http://arxiv.org/abs/2204.03187v1
• Date: Thu, 7 Apr 2022 03:36:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-09 05:12:26.296324
• Title: Distributed Statistical Min-Max Learning in the Presence of Byzantine Agents
• Title（参考訳）: ビザンチン存在下での分布統計min-max学習
• Authors: Arman Adibi, Aritra Mitra, George J. Pappas and Hamed Hassani
• Abstract要約: 本稿では,ビザンチンの敵対的エージェントと競合する新たな課題に焦点をあて,マルチエージェントのmin-max学習問題を考察する。 我々の主な貢献は、滑らかな凸凹関数と滑らかな凸凸凸関数に対する頑健な外勾配アルゴリズムのクリップ解析を提供することである。 我々の利率はほぼ最適であり、敵の汚職の影響と非汚職エージェント間の協力の利益の両方を明らかにしている。
• 参考スコア（独自算出の注目度）: 34.46660729815201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed a growing interest in the topic of min-max optimization, owing to its relevance in the context of generative adversarial networks (GANs), robust control and optimization, and reinforcement learning. Motivated by this line of work, we consider a multi-agent min-max learning problem, and focus on the emerging challenge of contending with worst-case Byzantine adversarial agents in such a setup. By drawing on recent results from robust statistics, we design a robust distributed variant of the extra-gradient algorithm - a popular algorithmic approach for min-max optimization. Our main contribution is to provide a crisp analysis of the proposed robust extra-gradient algorithm for smooth convex-concave and smooth strongly convex-strongly concave functions. Specifically, we establish statistical rates of convergence to approximate saddle points. Our rates are near-optimal, and reveal both the effect of adversarial corruption and the benefit of collaboration among the non-faulty agents. Notably, this is the first paper to provide formal theoretical guarantees for large-scale distributed min-max learning in the presence of adversarial agents.
• Abstract（参考訳）: 近年、GAN(Generative Adversarial Network)、堅牢な制御と最適化、強化学習の文脈における関連性から、min-max最適化のトピックへの関心が高まっている。 この一連の作業に動機づけられ、マルチエージェントのmin-max学習問題を検討し、このような設定で最悪のビザンチン敵エージェントと競合することの新たな課題に焦点をあてる。 近年のロバストな統計から得られた結果をもとに,高次アルゴリズムの頑健な分散変種(min-max最適化のための一般的なアルゴリズム的アプローチ)を設計する。 我々の主な貢献は、滑らかな凸凹関数と滑らかな凸凸凸関数に対する頑健な外勾配アルゴリズムのクリップ解析を提供することである。 具体的には、近似鞍点への収束率を統計的に定めている。 我々の利率はほぼ最適であり、敵の汚職の影響と非汚職エージェント間の協力の利益の両方を明らかにする。 特に、敵エージェントの存在下での大規模分散分極学習に公式な理論的保証を提供する最初の論文である。

関連論文リスト

• Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds [1.6385815610837167]
  そこで本研究では,リーマン数に対する最適化のための革新的な学習速度自由アルゴリズムを提案する。 我々は、決定論的設定において最もよく知られた最適調整率と比較して、対数的要因まで最適である高い確率収束を保証する。 提案手法は数値実験によって検証され,学習速度依存アルゴリズムに対する競合性能が実証された。
  論文  参考訳（メタデータ） (2024-06-04T13:17:24Z)
• Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning under Distribution Shifts [11.765000124617186]
  本研究では、文脈多段階最適化問題における分散シフトに対する深層強化学習アルゴリズムの堅牢性について検討する。 提案アルゴリズムは,リスクニュートラルなソフトアクター・クライブや,頑健な深層強化学習のための2つのベンチマーク手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-15T14:55:38Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• On the Convergence and Robustness of Adversarial Training [134.25999006326916]
  Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。 生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2021-12-15T17:54:08Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
  強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。 ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。 非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
  論文  参考訳（メタデータ） (2021-02-05T03:20:39Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees [19.28405674700399]
  訓練中の敵の例は、敵の攻撃に対する一般的な防御メカニズムです。 min-max問題を最適制御問題として解釈することにより、ニューラルネットワークの構成構造を活用できることが示されている。 本稿では、ロバストな最適制御の手法と、最適化における不正確な手法を組み合わせて、この逆学習アルゴリズムの最初の収束解析を行う。
  論文  参考訳（メタデータ） (2020-05-01T21:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。