論文の概要: Robust Deep Reinforcement Learning with Adaptive Adversarial Perturbations in Action Space
- arxiv url: http://arxiv.org/abs/2405.11982v1
- Date: Mon, 20 May 2024 12:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 13:14:56.748985
- Title: Robust Deep Reinforcement Learning with Adaptive Adversarial Perturbations in Action Space
- Title（参考訳）: アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・インダプティブ・スペースを用いたロバスト・ディープ・強化学習
- Authors: Qianmei Liu, Yufei Kuang, Jie Wang,
- Abstract要約: 本稿では,トレーニング中の対向摂動の影響を調整するための適応的対向係数フレームワークを提案する。
提案手法の特長は,実世界のアプリケーションに簡単にデプロイでき,シミュレータに事前にアクセスする必要がなくなることである。
MuJoCoの実験から,本手法はトレーニングの安定性を向上し,異なるテスト環境に移行する際の堅牢なポリシを学習できることが示された。
- 参考スコア（独自算出の注目度）: 3.639580365066386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (DRL) algorithms can suffer from modeling errors between the simulation and the real world. Many studies use adversarial learning to generate perturbation during training process to model the discrepancy and improve the robustness of DRL. However, most of these approaches use a fixed parameter to control the intensity of the adversarial perturbation, which can lead to a trade-off between average performance and robustness. In fact, finding the optimal parameter of the perturbation is challenging, as excessive perturbations may destabilize training and compromise agent performance, while insufficient perturbations may not impart enough information to enhance robustness. To keep the training stable while improving robustness, we propose a simple but effective method, namely, Adaptive Adversarial Perturbation (A2P), which can dynamically select appropriate adversarial perturbations for each sample. Specifically, we propose an adaptive adversarial coefficient framework to adjust the effect of the adversarial perturbation during training. By designing a metric for the current intensity of the perturbation, our method can calculate the suitable perturbation levels based on the current relative performance. The appealing feature of our method is that it is simple to deploy in real-world applications and does not require accessing the simulator in advance. The experiments in MuJoCo show that our method can improve the training stability and learn a robust policy when migrated to different test environments. The code is available at https://github.com/Lqm00/A2P-SAC.
- Abstract（参考訳）: 深部強化学習(DRL)アルゴリズムはシミュレーションと実世界の間の誤差をモデル化する。
多くの研究は、逆行学習を用いて、訓練過程中に摂動を発生させ、相違をモデル化し、DRLの堅牢性を改善する。
しかし、これらの手法のほとんどは、対向摂動の強度を制御するために固定パラメータを使用し、これは平均性能とロバスト性の間のトレードオフにつながる可能性がある。
実際、摂動の最適パラメータを見つけることは、過度な摂動がトレーニングと妥協エージェントのパフォーマンスを不安定にし、一方不十分な摂動は強靭性を高めるのに十分な情報を与えることができないため、困難である。
頑健さを向上しながらトレーニングを安定させるため,適応的対向摂動 (Adaptive Adversarial Perturbation, A2P) という簡易かつ効果的な手法を提案し,各サンプルに対して適切な対向摂動を動的に選択できる。
具体的には、トレーニング中の対向的摂動の影響を調整するための適応的対向係数フレームワークを提案する。
摂動の現在の強度の計量を設計することにより、現在の相対的性能に基づいて適切な摂動レベルを計算することができる。
提案手法の特長は,実世界のアプリケーションに簡単にデプロイでき,シミュレータに事前にアクセスする必要がなくなることである。
MuJoCoの実験から,本手法はトレーニングの安定性を向上し,異なるテスト環境に移行する際の堅牢なポリシを学習できることが示された。
コードはhttps://github.com/Lqm00/A2P-SACで入手できる。
関連論文リスト
- Adaptive Robust Learning using Latent Bernoulli Variables [50.223140145910904]
破損したトレーニングセットから学習するための適応的なアプローチを提案する。
我々は,潜伏したベルヌーイ変数を持つ崩壊した非破壊標本を同定した。
結果の問題は変分推論によって解決される。
論文 参考訳（メタデータ） (2023-12-01T13:50:15Z) - Robust Deep Reinforcement Learning Scheduling via Weight Anchoring [7.570246812206769]
我々は、重みアンカーを用いてニューラルネットワークの望ましい振る舞いを培養し、固定する。
ウェイトアンカーは、他の学習問題の解に近い学習問題の解を見つけるために用いられる。
その結果,シミュレーション環境を増強する技術に匹敵する性能が得られた。
論文 参考訳（メタデータ） (2023-04-20T09:30:23Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳（メタデータ） (2022-04-14T17:46:26Z) - Policy Learning for Robust Markov Decision Process with a Mismatched
Generative Model [42.28001762749647]
医療や自動操縦といった高度なシナリオでは、オンラインの実験データを収集してエージェントを訓練するのは危険か不可能です。
本稿では,ロバスト・マルコフ決定過程(RMDP)に対する政策学習について考察する。
我々のゴールは、さらなる技術的困難をもたらす、摂動テスト環境に対するほぼ最適のロバストなポリシーを特定することです。
論文 参考訳（メタデータ） (2022-03-13T06:37:25Z) - Robustifying Reinforcement Learning Policies with $\mathcal{L}_1$
Adaptive Control [7.025818894763949]
強化学習(RL)ポリシーは、動的変動が存在するため、新しい/摂動環境において失敗する可能性がある。
本稿では, 適応制御を$mathcalL_1$で行うことで, 事前学習した非ロバストRLポリシーを堅牢化する手法を提案する。
提案手法は,シミュレータでも実世界でも,標準(非ロバスト)方式で訓練されたRLポリシーのロバスト性を大幅に向上させることができる。
論文 参考訳（メタデータ） (2021-06-04T04:28:46Z) - Improving Model Robustness by Adaptively Correcting Perturbation Levels
with Active Queries [43.98198697182858]
モデルが人間の専門家から正しい摂動レベルを対話的に照会できるように,新しいアクティブラーニングフレームワークを提案する。
理論的解析と実験的研究の両方が提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2021-03-27T07:09:01Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳（メタデータ） (2020-10-28T15:23:49Z) - Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。
自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。
CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
論文 参考訳（メタデータ） (2020-02-24T15:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。