論文の概要: On the Perturbed States for Transformed Input-robust Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2408.00023v2
- Date: Fri, 2 Aug 2024 06:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 12:28:46.213377
- Title: On the Perturbed States for Transformed Input-robust Reinforcement Learning
- Title(参考訳): インプット・ロバスト強化学習における摂動状態について
- Authors: Tung M. Luu, Haeyong Kang, Tri Ton, Thanh Nguyen, Chang D. Yoo,
- Abstract要約: 強化学習 (Reinforcement Learning, RL) エージェントは、展開中の入力観察において、敵の摂動に対する脆弱性を示す。
我々は、堅牢なRLエージェントの学習に変換に基づく防御を適用するための2つの原則を紹介した。
複数のMuJoCo環境の実験では、入力変換ベースの防御が複数の敵に対して防御されていることが示されている。
- 参考スコア(独自算出の注目度): 24.11603621594292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning (RL) agents demonstrating proficiency in a training environment exhibit vulnerability to adversarial perturbations in input observations during deployment. This underscores the importance of building a robust agent before its real-world deployment. To alleviate the challenging point, prior works focus on developing robust training-based procedures, encompassing efforts to fortify the deep neural network component's robustness or subject the agent to adversarial training against potent attacks. In this work, we propose a novel method referred to as Transformed Input-robust RL (TIRL), which explores another avenue to mitigate the impact of adversaries by employing input transformation-based defenses. Specifically, we introduce two principles for applying transformation-based defenses in learning robust RL agents: (1) autoencoder-styled denoising to reconstruct the original state and (2) bounded transformations (bit-depth reduction and vector quantization (VQ)) to achieve close transformed inputs. The transformations are applied to the state before feeding it into the policy network. Extensive experiments on multiple MuJoCo environments demonstrate that input transformation-based defenses, i.e., VQ, defend against several adversaries in the state observations. The official code is available at https://github.com/tunglm2203/tirl
- Abstract(参考訳): 訓練環境における熟練度を示す強化学習(Reinforcement Learning, RL)エージェントは, 展開中の入力観察において, 敵の摂動に対する脆弱性を示す。
これは、実世界のデプロイの前に堅牢なエージェントを構築することの重要性を浮き彫りにする。
この課題を軽減するために、事前の作業は堅牢なトレーニングベースの手順の開発に重点を置いており、ディープニューラルネットワークコンポーネントの堅牢性を強化したり、エージェントに強力な攻撃に対する敵のトレーニングを課すような努力を包含している。
本研究では,トランスフォーメーション・インプット・ロバスト・RL (Transformed Input-robust RL) と呼ばれる新しい手法を提案する。
具体的には、ロバストなRLエージェントの学習に変換に基づく防御を適用するための2つの原則を紹介し、(1)元の状態を再構築するオートエンコーダスタイルのデノケーション、(2)密な変換入力を達成するための有界変換(ビット深さの低減とベクトル量子化(VQ))を提案する。
トランスフォーメーションは、ポリシーネットワークに入力する前に、状態に適用されます。
複数のMuJoCo環境に対する大規模な実験により、入力変換に基づく防御、すなわちVQは、状態観察におけるいくつかの敵に対して防御することを示した。
公式コードはhttps://github.com/tunglm2203/tirlで入手できる。
関連論文リスト
- Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。
我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
論文 参考訳(メタデータ) (2024-05-02T16:49:25Z) - GenFighter: A Generative and Evolutive Textual Attack Removal [6.044610337297754]
自然言語処理(NLP)におけるTransformerモデルのような、ディープニューラルネットワーク(DNN)に対するアドリラルアタックは大きな課題となる。
本稿では,訓練分類分布の学習と推論によって敵の堅牢性を高める新しい防衛戦略であるGenFighterを紹介する。
我々は、GenFighterが攻撃および攻撃成功率の指標の下で、最先端の防御能力より優れていることを示す。
論文 参考訳(メタデータ) (2024-04-17T16:32:13Z) - Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。
提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
論文 参考訳(メタデータ) (2022-07-15T17:10:48Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳(メタデータ) (2022-06-05T08:49:16Z) - Towards Robustness Against Natural Language Word Substitutions [87.56898475512703]
単語置換に対するロバスト性は、意味論的に類似した単語を置換として、明確に定義され広く受け入れられる形式である。
従来の防衛方法は、$l$-ball または hyper-rectangle を用いてベクトル空間における単語置換をキャプチャする。
論文 参考訳(メタデータ) (2021-07-28T17:55:08Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳(メタデータ) (2020-08-18T10:23:57Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z) - Adversarial Augmentation Policy Search for Domain and Cross-Lingual
Generalization in Reading Comprehension [96.62963688510035]
理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過度に適合し、敵対的な評価に失敗する。
本稿では,複数の効果的な敵と自動データ拡張ポリシー探索手法を提案し,対角的評価に対して,読解理解モデルをより堅牢にすることを目的とする。
論文 参考訳(メタデータ) (2020-04-13T17:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。