論文の概要: Disturbing Reinforcement Learning Agents with Corrupted Rewards

• arxiv url: http://arxiv.org/abs/2102.06587v1
• Date: Fri, 12 Feb 2021 15:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:22:18.715096
• Title: Disturbing Reinforcement Learning Agents with Corrupted Rewards
• Title（参考訳）: 破損報酬を伴う強化学習エージェントの乱用
• Authors: Rub\'en Majadas, Javier Garc\'ia and Fernando Fern\'andez
• Abstract要約: 強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) algorithms have led to recent successes in solving complex games, such as Atari or Starcraft, and to a huge impact in real-world applications, such as cybersecurity or autonomous driving. In the side of the drawbacks, recent works have shown how the performance of RL algorithms decreases under the influence of soft changes in the reward function. However, little work has been done about how sensitive these disturbances are depending on the aggressiveness of the attack and the learning exploration strategy. In this paper, we propose to fill this gap in the literature analyzing the effects of different attack strategies based on reward perturbations, and studying the effect in the learner depending on its exploration strategy. In order to explain all the behaviors, we choose a sub-class of MDPs: episodic, stochastic goal-only-rewards MDPs, and in particular, an intelligible grid domain as a benchmark. In this domain, we demonstrate that smoothly crafting adversarial rewards are able to mislead the learner, and that using low exploration probability values, the policy learned is more robust to corrupt rewards. Finally, in the proposed learning scenario, a counterintuitive result arises: attacking at each learning episode is the lowest cost attack strategy.
• Abstract（参考訳）: Reinforcement Learning (RL)アルゴリズムは、AtariやStarcraftといった複雑なゲームの解決に成功し、サイバーセキュリティや自動運転といった現実世界のアプリケーションに大きな影響を与えている。 欠点として、近年の研究では、報酬関数のソフトな変化の影響下でRLアルゴリズムの性能が低下することを示した。 しかし、これらの障害がどの程度敏感であるかについては、攻撃の攻撃性や学習探索戦略によってはほとんど研究されていない。 本稿では,報酬の摂動に基づく異なる攻撃戦略の効果を分析し,その探索戦略による学習者の効果を考察する文献において,このギャップを埋めることを提案する。 すべての行動を説明するために、我々はMDPのサブクラスを選びます:エピソディック、確率的目標のみ報酬MDP、そして特に、インテリグブルグリッドドメインをベンチマークとして。 この領域では, 対人報酬を円滑に作成することで学習者を誤解させることが可能であり, 探索確率の低い値を用いることで, 学習した政策が不正報酬に対してより堅牢であることを示す。 最後に、提案した学習シナリオでは、各学習エピソードに対する攻撃が最小のコスト攻撃戦略である、という直感的な結果が生じる。

関連論文リスト

• Loss of Plasticity in Continual Deep Reinforcement Learning [14.475963928766134]
  ディープRLエージェントは,Atari 2600の一連のゲームで,優れたポリシーを学習する能力を失っていることを実証する。 我々はこの現象を大規模に研究し、時間とともに重み、勾配、活性化がどのように変化するかを分析する。 解析の結果,ネットワークの活性化フットプリントがスペーサーとなり,勾配が減少することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T22:37:15Z)
• Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning [6.414910263179327]
  オンライン深層学習(DRL)における報酬中毒に関する研究 我々は、敵MDP攻撃と呼ばれる一般的なブラックボックス報酬中毒フレームワークを設計することで、最先端DRLアルゴリズムの本質的な脆弱性を実証する。 以上の結果から,我々の攻撃は,いくつかの古典的制御環境や MuJoCo 環境下で学習する有害物質を効果的に検出できることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T04:07:19Z)
• Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
  グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。 GNNは敵の攻撃の危険にさらされている。
  論文  参考訳（メタデータ） (2022-02-25T21:52:09Z)
• Execute Order 66: Targeted Data Poisoning for Reinforcement Learning [52.593097204559314]
  本研究は, 特定の目標状態にのみ, エージェントの誤動作を引き起こす, 強化学習のための無害な毒殺攻撃を導入する。 我々は、近年の手法である勾配アライメントを強化学習に適用することで、これを実現する。 本手法を検証し,異なる難易度を持つ2つのアタリゲームで成功例を示す。
  論文  参考訳（メタデータ） (2022-01-03T17:09:32Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning [32.12283927682007]
  深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。 関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
  論文  参考訳（メタデータ） (2021-06-30T07:41:51Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Self Punishment and Reward Backfill for Deep Q-Learning [6.572828651397661]
  強化学習エージェントは、通常環境によって提供される全報酬を最大化する行動を促すことで学習する。 多くの環境では、報酬は個々のアクションではなく一連のアクションの後に提供され、エージェントはそれらのアクションが有効かどうかという点であいまいさを経験する。 本研究では,行動心理学にインスパイアされた2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-10T11:53:11Z)
• Efficient exploration of zero-sum stochastic games [83.28949556413717]
  ゲームプレイを通じて,ゲームの記述を明示せず,託宣のみにアクセス可能な,重要で一般的なゲーム解決環境について検討する。 限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。 私たちのモチベーションは、クエリされた戦略プロファイルの支払いを評価するのにコストがかかる状況において、利用可能性の低い戦略を迅速に学習することにあります。
  論文  参考訳（メタデータ） (2020-02-24T20:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。