論文の概要: Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance
and Provably Fast Convergence
- arxiv url: http://arxiv.org/abs/2401.03489v1
- Date: Sun, 7 Jan 2024 14:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 18:37:11.779634
- Title: Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance
and Provably Fast Convergence
- Title(参考訳): ビザンチンフォールトトレランスと高速収束を考慮した分散型フェデレーション政策
- Authors: Philip Jordan, Florian Gr\"otschla, Flint Xiaofeng Fan, Roger
Wattenhofer
- Abstract要約: Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。
我々はまず,非フォールトトレラントPGの仮定標準にのみ依存して既存の手法を改善する,新しい集中型ビザンチンフォールトトレラントポリシー(PG)アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 21.935405256685307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Reinforcement Learning (FRL), agents aim to collaboratively
learn a common task, while each agent is acting in its local environment
without exchanging raw trajectories. Existing approaches for FRL either (a) do
not provide any fault-tolerance guarantees (against misbehaving agents), or (b)
rely on a trusted central agent (a single point of failure) for aggregating
updates. We provide the first decentralized Byzantine fault-tolerant FRL
method. Towards this end, we first propose a new centralized Byzantine
fault-tolerant policy gradient (PG) algorithm that improves over existing
methods by relying only on assumptions standard for non-fault-tolerant PG.
Then, as our main contribution, we show how a combination of robust aggregation
and Byzantine-resilient agreement methods can be leveraged in order to
eliminate the need for a trusted central entity. Since our results represent
the first sample complexity analysis for Byzantine fault-tolerant decentralized
federated non-convex optimization, our technical contributions may be of
independent interest. Finally, we corroborate our theoretical results
experimentally for common RL environments, demonstrating the speed-up of
decentralized federations w.r.t. the number of participating agents and
resilience against various Byzantine attacks.
- Abstract(参考訳): Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。
FRLの既存アプローチ
(a) フォールトトレランス保証(別名悪行防止剤)を提供しない、又は
(b)更新を集約するために信頼された中央エージェント(単一障害点)に依存する。
我々は、最初の分散化されたビザンチンフォールトトレラントFRL法を提供する。
そこで我々はまず,非フォールトトレラントPGの仮定標準にのみ依存することにより,既存の手法を改良する,新しい集中型ビザンチンフォールトトレラントポリシー勾配(PG)アルゴリズムを提案する。
次に,本研究の主な貢献として,強固なアグリゲーションとビザンチン・レジリエント・アグリゲーションの手法を組み合わせることで,信頼された中央エンティティの必要性をなくすことができることを示す。
この結果は,東ローマ帝国の耐故障性分散化非凸最適化のための最初のサンプル複雑性解析の結果である。
最後に、我々の理論結果を共通RL環境に対して実験的に相関させ、様々なビザンツ人攻撃に対するエージェント数とレジリエンスの分散化フェデレーションのスピードアップを実証する。
関連論文リスト
- Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳(メタデータ) (2022-06-01T00:44:53Z) - Monotonic Improvement Guarantees under Non-stationarity for
Decentralized PPO [66.5384483339413]
我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。
本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
論文 参考訳(メタデータ) (2022-01-31T20:39:48Z) - Fault-Tolerant Federated Reinforcement Learning with Theoretical
Guarantee [25.555844784263236]
本稿では,ランダムなシステム障害や敵攻撃によるエージェントの半数未満に寛容な,最初のフェデレーション強化学習フレームワークを提案する。
すべての理論的結果は、様々なRLベンチマークタスクで実証的に検証される。
論文 参考訳(メタデータ) (2021-10-26T23:01:22Z) - Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via
Trust Region Decomposition [52.06086375833474]
非定常性は多エージェント強化学習における厄介な問題である。
ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。
共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
論文 参考訳(メタデータ) (2021-02-21T14:46:50Z) - Byzantine-Robust Decentralized Stochastic Optimization over Static and
Time-Varying Networks [25.15075119957447]
我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。
一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。
ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。
提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
論文 参考訳(メタデータ) (2020-05-12T04:18:39Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳(メタデータ) (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。