Fugu-MT 論文翻訳(概要): On the Perturbed States for Transformed Input-robust Reinforcement Learning

論文の概要: On the Perturbed States for Transformed Input-robust Reinforcement Learning

arxiv url: http://arxiv.org/abs/2408.00023v1
Date: Wed, 31 Jul 2024 05:31:28 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 00:36:46.234256
Title: On the Perturbed States for Transformed Input-robust Reinforcement Learning
Title（参考訳）: インプット・ロバスト強化学習における摂動状態について
Authors: Tung M. Luu, Haeyong Kang, Tri Ton, Thanh Nguyen, Chang D. Yoo,
Abstract要約: 強化学習 (Reinforcement Learning, RL) エージェントは、展開中の入力観察において、敵の摂動に対する脆弱性を示す。我々は、堅牢なRLエージェントの学習に変換に基づく防御を適用するための2つの原則を紹介した。複数のミュージョコ環境での実験では、入力変換に基づく防御、すなわちVQは、状態観察におけるいくつかの敵に対して防御することを示した。
参考スコア（独自算出の注目度）: 24.11603621594292
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement Learning (RL) agents demonstrating proficiency in a training environment exhibit vulnerability to adversarial perturbations in input observations during deployment. This underscores the importance of building a robust agent before its real-world deployment. To alleviate the challenging point, prior works focus on developing robust training-based procedures, encompassing efforts to fortify the deep neural network component's robustness or subject the agent to adversarial training against potent attacks. In this work, we propose a novel method referred to as \textit{Transformed Input-robust RL (TIRL)}, which explores another avenue to mitigate the impact of adversaries by employing input transformation-based defenses. Specifically, we introduce two principles for applying transformation-based defenses in learning robust RL agents: \textit{(1) autoencoder-styled denoising} to reconstruct the original state and \textit{(2) bounded transformations (bit-depth reduction and vector quantization (VQ))} to achieve close transformed inputs. The transformations are applied to the state before feeding it into the policy network. Extensive experiments on multiple \mujoco environments demonstrate that input transformation-based defenses, \ie, VQ, defend against several adversaries in the state observations.
Abstract（参考訳）: 訓練環境における熟練度を示す強化学習(Reinforcement Learning, RL)エージェントは, 展開中の入力観察において, 敵の摂動に対する脆弱性を示す。これは、実世界のデプロイの前に堅牢なエージェントを構築することの重要性を浮き彫りにする。この課題を軽減するために、事前の作業は堅牢なトレーニングベースの手順の開発に重点を置いており、ディープニューラルネットワークコンポーネントの堅牢性を強化したり、エージェントに強力な攻撃に対する敵のトレーニングを課すような努力を包含している。本研究では,入力変換をベースとした防御技術を用いて,敵の攻撃を緩和する新たな手法である「textit{Transformed Input-robust RL(TIRL)」を提案する。具体的には、元の状態を再構成するために \textit{(1) autoencoder-styled denoising} と、閉じた変換入力を達成するために \textit{(2) bounded transformations (bit-deepth reduction and vector Quantization (VQ)) という、ロバストなRLエージェントの学習に変換ベースの防御を適用するための2つの原則を導入する。トランスフォーメーションは、ポリシーネットワークに入力する前に、状態に適用されます。複数のシャムジョコ環境に対する大規模な実験により、入力変換に基づく防御、すなわちVQは、状態観察におけるいくつかの敵に対して防御することを示した。

関連論文リスト

Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
論文参考訳（メタデータ） (2024-10-31T21:38:05Z)
Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization [18.56608399174564]
優れた強化学習(RL)エージェントは、展開中に敵の摂動に対してレジリエンスを欠いていることが多い。これは、現実世界にデプロイする前に堅牢なエージェントを構築することの重要性を強調している。本研究では,RLの入力変換に基づくディフェンスについて検討する。
論文参考訳（メタデータ） (2024-10-04T12:41:54Z)
Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
論文参考訳（メタデータ） (2024-05-02T16:49:25Z)
GenFighter: A Generative and Evolutive Textual Attack Removal [6.044610337297754]
自然言語処理(NLP)におけるTransformerモデルのような、ディープニューラルネットワーク(DNN)に対するアドリラルアタックは大きな課題となる。本稿では,訓練分類分布の学習と推論によって敵の堅牢性を高める新しい防衛戦略であるGenFighterを紹介する。我々は、GenFighterが攻撃および攻撃成功率の指標の下で、最先端の防御能力より優れていることを示す。
論文参考訳（メタデータ） (2024-04-17T16:32:13Z)
Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations [5.076419064097735]
近年の研究では、十分に訓練されたRL剤は、試験段階における状態観察を戦略的に摂動させることで容易に操作できることが示されている。既存のソリューションは、摂動に対する訓練されたポリシーの滑らかさを改善するために正規化用語を導入するか、代わりにエージェントのポリシーと攻撃者のポリシーを訓練する。本稿では,エージェントの真の状態に対する不確実性を保護するための悲観的ポリシーを導出する,新しいロバストなRLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-06T20:52:49Z)
Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
論文参考訳（メタデータ） (2023-12-23T05:51:40Z)
Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
論文参考訳（メタデータ） (2022-07-15T17:10:48Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文参考訳（メタデータ） (2021-06-21T21:42:08Z)
Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文参考訳（メタデータ） (2020-08-05T07:49:42Z)
A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。本稿では,入力空間における自己教師型対向学習機構を提案する。これは、反逆攻撃に対する強力な堅牢性を提供する。
論文参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。