論文の概要: Provably Robust Federated Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.08123v1
• Date: Wed, 12 Feb 2025 05:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:48:25.911555
• Title: Provably Robust Federated Reinforcement Learning
• Title（参考訳）: 多分ロバストなフェデレーション強化学習
• Authors: Minghong Fang, Xilong Wang, Neil Zhenqiang Gong,
• Abstract要約: フェデレート強化学習(FRL)は、中央サーバの指導のもと、エージェントがグローバルな意思決定ポリシーを共同で学習することを可能にする。 現在のByzantine-Robustアグリゲーション技術は、我々が新たに導入した正規化攻撃には免疫しない。 我々は、既知の攻撃と、新たに提案した攻撃の両方に対して確実に安全であるアンサンブルFRLアプローチを開発した。
• 参考スコア（独自算出の注目度）: 38.45432310782162
• License:
• Abstract: Federated reinforcement learning (FRL) allows agents to jointly learn a global decision-making policy under the guidance of a central server. While FRL has advantages, its decentralized design makes it prone to poisoning attacks. To mitigate this, Byzantine-robust aggregation techniques tailored for FRL have been introduced. Yet, in our work, we reveal that these current Byzantine-robust techniques are not immune to our newly introduced Normalized attack. Distinct from previous attacks that targeted enlarging the distance of policy updates before and after an attack, our Normalized attack emphasizes on maximizing the angle of deviation between these updates. To counter these threats, we develop an ensemble FRL approach that is provably secure against both known and our newly proposed attacks. Our ensemble method involves training multiple global policies, where each is learnt by a group of agents using any foundational aggregation rule. These well-trained global policies then individually predict the action for a specific test state. The ultimate action is chosen based on a majority vote for discrete action systems or the geometric median for continuous ones. Our experimental results across different settings show that the Normalized attack can greatly disrupt non-ensemble Byzantine-robust methods, and our ensemble approach offers substantial resistance against poisoning attacks.
• Abstract（参考訳）: フェデレート強化学習(FRL)は、中央サーバの指導のもと、エージェントがグローバルな意思決定ポリシーを共同で学習することを可能にする。 FRLには利点があるが、その分散設計は攻撃を害する傾向がある。 これを軽減するため、FRL用に調整されたビザンチン-ロバスト凝集技術が導入された。 しかし、我々の研究によると、現在のビザンチン・ロバスト技術は、我々が新たに導入した正規化攻撃には免疫がない。 攻撃前後のポリシー更新距離を拡大することを目的とした以前の攻撃と異なり、正規化攻撃はこれらの更新間の偏差の角度を最大化することを強調する。 これらの脅威に対処するため、我々は、既知の攻撃と新たに提案した攻撃の両方に対して確実に安全であるアンサンブルFRLアプローチを開発した。 我々のアンサンブル法は、複数のグローバルポリシーを訓練することを含み、各ポリシーは、基本的なアグリゲーションルールを使用してエージェントのグループによって学習される。 これらのよく訓練されたグローバルポリシーは、個別に特定のテスト状態に対するアクションを予測する。 最終的なアクションは、離散的なアクションシステムに対する多数決、または連続的なアクションに対する幾何学的中央値に基づいて選択される。 実験結果から,正常化攻撃は非アンサンブル・ビザンチン・ロバスト法を著しく破壊する可能性が示唆された。

関連論文リスト

• SleeperNets: Universal Backdoor Poisoning Attacks Against Reinforcement Learning Agents [16.350898218047405]
  強化学習(Reinforcement Learning, RL)は、現実世界の安全クリティカルなアプリケーションでの利用が増加している分野である。 この研究では、特にステルス性のRL(バックドア中毒)に対するトレーニングタイムアタックを調査します。 我々は、敵の目的と最適な政策を見出す目的を結びつける新しい毒殺の枠組みを定式化する。
  論文  参考訳（メタデータ） (2024-05-30T23:31:25Z)
• Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
  敵RLでは、外部攻撃者は、環境との相互作用を操作できる。 我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。 被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
  論文  参考訳（メタデータ） (2023-11-30T21:21:47Z)
• Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems [6.69087470775851]
  分散攻撃エージェントを用いた最適な敵エージェント対エージェント攻撃を行うという問題を定式化する。 そこで本稿では,静的制約付き攻撃-リソース割り当て最適化と動的プログラミングの段階間最適化を組み合わせた最適手法を提案する。 以上の結果から,攻撃エージェントが受ける報酬を大幅に削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-01T21:28:02Z)
• Towards Attack-tolerant Federated Learning via Critical Parameter Analysis [85.41873993551332]
  フェデレートされた学習システムは、悪意のあるクライアントが中央サーバーに誤ったアップデートを送信すると、攻撃を害するおそれがある。 本稿では,新たな防衛戦略であるFedCPA(Federated Learning with critical Analysis)を提案する。 攻撃耐性凝集法は, 有害局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒であるのに対し, 類似したトップkおよびボトムk臨界パラメータを持つ。
  論文  参考訳（メタデータ） (2023-08-18T05:37:55Z)
• Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL [46.32591437241358]
  本稿では、訓練された被害者エージェントが他のエージェントを制御する攻撃者によって悪用されるマルチエージェント設定について考察する。 以前のモデルでは、攻撃者が$alpha$に対する部分的な制御しか持たない可能性や、攻撃が容易に検出可能な"異常"な振る舞いを生じさせる可能性を考慮していない。 我々は、敵がエージェントをどの程度制御できるかをモデル化する柔軟性を持つ汎用攻撃フレームワークを導入する。 我々は、時間的分離を伴う敵の訓練を通じて、最も堅牢な被害者政策への収束を証明可能な効率のよい防御を提供する。
  論文  参考訳（メタデータ） (2023-05-27T02:54:07Z)
• Toward Evaluating Robustness of Reinforcement Learning with Adversarial Policy [32.1138935956272]
  強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。 本稿では,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T07:24:12Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Robust Reinforcement Learning using Adversarial Populations [118.73193330231163]
  強化学習(Reinforcement Learning, RL)は、コントローラ設計に有効なツールであるが、堅牢性の問題に対処できる。 一つの逆数を使うことは、逆数の標準的なパラメトリゼーションの下での動的変動に一貫して堅牢性をもたらすわけではないことを示す。 本稿では,ロバスト RL の定式化に対する人口ベース増進法を提案する。
  論文  参考訳（メタデータ） (2020-08-04T20:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。