論文の概要: Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee

• arxiv url: http://arxiv.org/abs/2110.14074v1
• Date: Tue, 26 Oct 2021 23:01:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 12:49:21.130281
• Title: Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
• Title（参考訳）: 理論的保証によるフォールトトレラントフェデレーション強化学習
• Authors: Flint Xiaofeng Fan, Yining Ma, Zhongxiang Dai, Wei Jing, Cheston Tan, Bryan Kian Hsiang Low
• Abstract要約: 本稿では,ランダムなシステム障害や敵攻撃によるエージェントの半数未満に寛容な,最初のフェデレーション強化学習フレームワークを提案する。 すべての理論的結果は、様々なRLベンチマークタスクで実証的に検証される。
• 参考スコア（独自算出の注目度）: 25.555844784263236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing literature of Federated Learning (FL) has recently inspired Federated Reinforcement Learning (FRL) to encourage multiple agents to federatively build a better decision-making policy without sharing raw trajectories. Despite its promising applications, existing works on FRL fail to I) provide theoretical analysis on its convergence, and II) account for random system failures and adversarial attacks. Towards this end, we propose the first FRL framework the convergence of which is guaranteed and tolerant to less than half of the participating agents being random system failures or adversarial attackers. We prove that the sample efficiency of the proposed framework is guaranteed to improve with the number of agents and is able to account for such potential failures or attacks. All theoretical results are empirically verified on various RL benchmark tasks.
• Abstract（参考訳）: フェデレーション学習(fl)は近年,複数のエージェントが生のトラジェクタを共有することなく,より優れた意思決定ポリシをフェデレーション的に構築するように促すために,フェデレーション強化学習(frl)に影響を与えている。 その有望な応用にもかかわらず、FRLに関する既存の研究(I)は、その収束に関する理論的分析を提供し、II)はランダムなシステム障害と敵攻撃を考慮に入れている。 そこで本研究では,システム障害や敵攻撃による攻撃者の半分未満のエージェントに対して,その収束を保証し,許容できる最初のFRLフレームワークを提案する。 我々は,提案フレームワークのサンプル効率がエージェント数で向上することを保証し,そのような潜在的な障害や攻撃を考慮できることを実証する。 すべての理論的結果は様々なRLベンチマークタスクで実証的に検証される。

関連論文リスト

• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• LiD-FL: Towards List-Decodable Federated Learning [18.89910309677336]
  本稿では,中央サーバが敵のリストを維持できる,リスト記述可能なフェデレーション学習のためのアルゴリズムフレームワークを提案する。 実験結果から,提案アルゴリズムは様々な攻撃において悪意ある多数派に耐えうることが示された。
  論文  参考訳（メタデータ） (2024-08-09T09:29:02Z)
• Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence [21.935405256685307]
  Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。 我々はまず,非フォールトトレラントPGの仮定標準にのみ依存して既存の手法を改善する,新しい集中型ビザンチンフォールトトレラントポリシー(PG)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-07T14:06:06Z)
• Local Environment Poisoning Attacks on Federated Reinforcement Learning [1.5020330976600738]
  フェデレートラーニング(FL)は、従来の強化ラーニング(RL)タスクを解決する一般的なツールとなっている。 フェデレートされたメカニズムは、トレーニングされたポリシーを誤解させる可能性のある悪意のあるエージェントによる毒殺システムを公開する。 本稿では、FRL中毒を最適化問題として特徴付けるための一般的な枠組みを提案し、政策に基づくFRLに適用可能な中毒プロトコルを設計する。
  論文  参考訳（メタデータ） (2023-03-05T17:44:23Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• Fair Federated Learning via Bounded Group Loss [37.72259706322158]
  本稿では,実証的公正なフェデレーション学習のための一般的なフレームワークを提案する。 我々は、有界群損失の概念を、群フェアネスに対する理論的に基底的なアプローチとして拡張する。 提案手法の収束保証と結果の正当性保証を提供する。
  論文  参考訳（メタデータ） (2022-03-18T23:11:54Z)
• COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks [49.15885037760725]
  本研究は, 中毒発生時におけるオフライン強化学習(RL)の堅牢性を検証することに注力する。 本報告では, 許容可能な毒素トラジェクトリの数を認証する最初の認証フレームワークであるCOPAを提案する。 提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T05:02:47Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Combing Policy Evaluation and Policy Improvement in a Unified f-Divergence Framework [33.90259939664709]
  学習方針とサンプリング方針のf分割について検討し、f-divergence Reinforcement Learning(FRL)と呼ばれる新しいDRLフレームワークを導出する。 FRL フレームワークは,1) f-divergence によって政策評価と政策改善プロセスを同時に導出すること,2) 値関数の過大評価問題を緩和すること,の2つの利点を実現する。
  論文  参考訳（メタデータ） (2021-09-24T10:20:46Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。