論文の概要: Local Environment Poisoning Attacks on Federated Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.02725v2
- Date: Sat, 18 Mar 2023 16:28:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 23:18:36.597638
- Title: Local Environment Poisoning Attacks on Federated Reinforcement Learning
- Title（参考訳）: 連帯強化学習における局所環境中毒攻撃
- Authors: Evelyn Ma, Tiancheng Qin, Rasoul Etesami
- Abstract要約: フェデレートラーニング(FL)は、従来の強化ラーニング(RL)タスクを解決する一般的なツールとなっている。
マルチエージェント構造は、従来のRLにおけるデータハングリーの主な懸念に対処する一方、フェデレーションされたメカニズムは、個々のエージェントのデータプライバシを保護する。
FLがもたらす利点にもかかわらず、フェデレート強化学習(FRL)の脆弱性はこれまでよく研究されていない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has become a popular tool for solving traditional
Reinforcement Learning (RL) tasks. The multi-agent structure addresses the
major concern of data-hungry in traditional RL, while the federated mechanism
protects the data privacy of individual agents. However, the federated
mechanism also exposes the system to poisoning by malicious agents that can
mislead the trained policy. Despite the advantage brought by FL, the
vulnerability of Federated Reinforcement Learning (FRL) has not been
well-studied before. In this work, we propose the first general framework to
characterize FRL poisoning as an optimization problem constrained by a limited
budget and design a poisoning protocol that can be applied to policy-based FRL
and extended to FRL with actor-critic as a local RL algorithm by training a
pair of private and public critics. We also discuss a conventional defense
strategy inherited from FL to mitigate this risk. We verify our poisoning
effectiveness by conducting extensive experiments targeting mainstream RL
algorithms and over various RL OpenAI Gym environments covering a wide range of
difficulty levels. Our results show that our proposed defense protocol is
successful in most cases but is not robust under complicated environments. Our
work provides new insights into the vulnerability of FL in RL training and
poses additional challenges for designing robust FRL algorithms.
- Abstract（参考訳）: フェデレーション学習(fl)は、伝統的な強化学習(rl)タスクを解決するための一般的なツールとなっている。
マルチエージェント構造は従来のRLにおけるデータハングリーの主な懸念に対処し、フェデレーション機構は個々のエージェントのデータプライバシを保護する。
しかし、フェデレーション機構は、訓練されたポリシーを誤解させる悪質なエージェントによる中毒にもシステムを公開する。
flの利点にもかかわらず、federated reinforcement learning (frl)の脆弱性はよく研究されていない。
本研究では、FRL中毒を限られた予算で制約された最適化問題として特徴付けるための最初の一般的な枠組みを提案し、ポリシーベースのFRLに適用可能な中毒プロトコルを設計し、一対の私的・公的な評論家を訓練することで、アクタークリティカルなローカルRLアルゴリズムとしてFRLに拡張する。
また、このリスクを軽減するため、FLから受け継いだ従来の防衛戦略についても論じる。
主要なRLアルゴリズムを対象とし,様々なRL OpenAI Gym環境を対象とし,幅広い難易度をカバーした広範囲な実験を行うことにより,毒性の有効性を検証する。
以上の結果から,提案する防衛プロトコルはほとんどの場合成功しているが,複雑な環境下では堅牢ではないことがわかった。
我々の研究は、RLトレーニングにおけるFLの脆弱性に関する新たな洞察を提供し、堅牢なFRLアルゴリズムを設計するためのさらなる課題を提起する。
関連論文リスト
- ReRoGCRL: Representation-based Robustness in Goal-Conditioned
Reinforcement Learning [29.868059421372244]
Goal-Conditioned Reinforcement Learning (GCRL) は注目されているが、敵の摂動に対するアルゴリズム的堅牢性はいまだ解明されていない。
まず,敵対的コントラスト攻撃に触発されたセミコントラスト表現攻撃を提案する。
次に,セミコントラスト・アジュメンテーションと感性認識正規化器を組み合わせた適応表現手法を提案する。
論文 参考訳（メタデータ） (2023-12-12T16:05:55Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Flexible Attention-Based Multi-Policy Fusion for Efficient Deep
Reinforcement Learning [78.31888150539258]
強化学習(RL)エージェントは、長い間、人間の学習の効率にアプローチしようとしてきた。
RLにおける以前の研究は、エージェントがサンプル効率を改善するために外部知識ポリシーを取り入れていた。
我々は,複数の知識ポリシーを融合させたRLパラダイムであるKGRL(Knowledge-Grounded RL)について述べる。
論文 参考訳（メタデータ） (2022-10-07T17:56:57Z) - FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。
ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。
FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文 参考訳（メタデータ） (2022-09-28T19:49:39Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Fault-Tolerant Federated Reinforcement Learning with Theoretical
Guarantee [25.555844784263236]
本稿では,ランダムなシステム障害や敵攻撃によるエージェントの半数未満に寛容な,最初のフェデレーション強化学習フレームワークを提案する。
すべての理論的結果は、様々なRLベンチマークタスクで実証的に検証される。
論文 参考訳（メタデータ） (2021-10-26T23:01:22Z) - Federated Reinforcement Learning: Techniques, Applications, and Open
Challenges [4.749929332500373]
連合強化学習(FRL)は、強化学習(RL)における新興かつ有望な分野である
FRLアルゴリズムは、水平連邦強化学習(HFRL)と垂直連邦強化学習(VFRL)の2つのカテゴリに分けられる。
論文 参考訳（メタデータ） (2021-08-26T16:22:49Z) - Combining Pessimism with Optimism for Robust and Efficient Model-Based
Deep Reinforcement Learning [56.17667147101263]
実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。
信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。
本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-18T16:50:17Z) - Vulnerability-Aware Poisoning Mechanism for Online RL with Unknown
Dynamics [23.014304618646598]
強化学習(RL)システムに対する攻撃は、RLアルゴリズムの脆弱性を利用して学習の失敗を引き起こす可能性がある。
オンラインRLのための汎用的な中毒フレームワークを構築し、RLの異種中毒モデルに関する包括的調査を行った。
本稿では,ほとんどの政策ベース深部RLエージェントに対して有効なVulnerability-Aware Adversarial Critic Poison (VA2C-P) という戦略毒殺アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-02T01:43:30Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。