論文の概要: Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence

• arxiv url: http://arxiv.org/abs/2401.03489v1
• Date: Sun, 7 Jan 2024 14:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:37:11.779634
• Title: Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence
• Title（参考訳）: ビザンチンフォールトトレランスと高速収束を考慮した分散型フェデレーション政策
• Authors: Philip Jordan, Florian Gr\"otschla, Flint Xiaofeng Fan, Roger Wattenhofer
• Abstract要約: Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。 我々はまず,非フォールトトレラントPGの仮定標準にのみ依存して既存の手法を改善する,新しい集中型ビザンチンフォールトトレラントポリシー(PG)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 21.935405256685307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Federated Reinforcement Learning (FRL), agents aim to collaboratively learn a common task, while each agent is acting in its local environment without exchanging raw trajectories. Existing approaches for FRL either (a) do not provide any fault-tolerance guarantees (against misbehaving agents), or (b) rely on a trusted central agent (a single point of failure) for aggregating updates. We provide the first decentralized Byzantine fault-tolerant FRL method. Towards this end, we first propose a new centralized Byzantine fault-tolerant policy gradient (PG) algorithm that improves over existing methods by relying only on assumptions standard for non-fault-tolerant PG. Then, as our main contribution, we show how a combination of robust aggregation and Byzantine-resilient agreement methods can be leveraged in order to eliminate the need for a trusted central entity. Since our results represent the first sample complexity analysis for Byzantine fault-tolerant decentralized federated non-convex optimization, our technical contributions may be of independent interest. Finally, we corroborate our theoretical results experimentally for common RL environments, demonstrating the speed-up of decentralized federations w.r.t. the number of participating agents and resilience against various Byzantine attacks.
• Abstract（参考訳）: Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。 FRLの既存アプローチ (a) フォールトトレランス保証(別名悪行防止剤)を提供しない、又は (b)更新を集約するために信頼された中央エージェント(単一障害点)に依存する。 我々は、最初の分散化されたビザンチンフォールトトレラントFRL法を提供する。 そこで我々はまず,非フォールトトレラントPGの仮定標準にのみ依存することにより,既存の手法を改良する,新しい集中型ビザンチンフォールトトレラントポリシー勾配(PG)アルゴリズムを提案する。 次に,本研究の主な貢献として,強固なアグリゲーションとビザンチン・レジリエント・アグリゲーションの手法を組み合わせることで,信頼された中央エンティティの必要性をなくすことができることを示す。 この結果は,東ローマ帝国の耐故障性分散化非凸最適化のための最初のサンプル複雑性解析の結果である。 最後に、我々の理論結果を共通RL環境に対して実験的に相関させ、様々なビザンツ人攻撃に対するエージェント数とレジリエンスの分散化フェデレーションのスピードアップを実証する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Byzantine-Robust Aggregation for Securing Decentralized Federated Learning [0.32985979395737774]
  Federated Learning(FL)は、デバイス上でAIモデルをローカルにトレーニングすることで、プライバシの問題に対処する分散機械学習アプローチとして登場した。 分散フェデレートラーニング(DFL)は、中央サーバを排除し、単一障害点の回避を通じてスケーラビリティと堅牢性を向上させることで、FLパラダイムを拡張します。 We present a novel byzantine-robust aggregate algorithm to enhance the security of DFL environment, coin, WFAgg。
  論文  参考訳（メタデータ） (2024-09-26T11:36:08Z)
• VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence [13.612214163974459]
  不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。 VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。 興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
  論文  参考訳（メタデータ） (2024-05-12T15:55:43Z)
• Byzantine-Resilient Federated PCA and Low Rank Column-wise Sensing [17.243528378512778]
  本研究は,フェデレーション・プリンシパル・コンポーネント分析(PCA)とフェデレーション・ローランク・カラム・ワイド・センシング(LRCS)の2つの関連する学習問題を考察する。 ノード攻撃はビザンティンであると仮定され、これは攻撃者は全能であり、共謀できることを意味する。 本稿では,PCA問題の解法として,LRCS問題の鍵となる部分であるSubspace-Medianという,ビザンチン耐性のある通信効率・サンプリング効率のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-25T20:21:11Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee [25.555844784263236]
  本稿では,ランダムなシステム障害や敵攻撃によるエージェントの半数未満に寛容な,最初のフェデレーション強化学習フレームワークを提案する。 すべての理論的結果は、様々なRLベンチマークタスクで実証的に検証される。
  論文  参考訳（メタデータ） (2021-10-26T23:01:22Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。