論文の概要: Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation
and Complexity Analysis
- arxiv url: http://arxiv.org/abs/2208.00081v1
- Date: Fri, 29 Jul 2022 21:29:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:48:35.156122
- Title: Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation
and Complexity Analysis
- Title（参考訳）: メタ強化学習におけるサンプリング攻撃:ミニマックス定式化と複雑性分析
- Authors: Tao Li, Haozhe Lei, and Quanyan Zhu
- Abstract要約: 本稿では,この種のセキュリティリスクを理解するためのゲーム理論的基盤を提供する。
我々は、サンプリング攻撃モデルを、攻撃者とエージェントの間のスタックルバーグゲームとして定義し、最小限の定式化をもたらす。
我々は,攻撃者の小さな努力が学習性能を著しく低下させる可能性があることを観察した。
- 参考スコア（独自算出の注目度）: 20.11993437283895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta reinforcement learning (meta RL), as a combination of meta-learning
ideas and reinforcement learning (RL), enables the agent to adapt to different
tasks using a few samples. However, this sampling-based adaptation also makes
meta RL vulnerable to adversarial attacks. By manipulating the reward feedback
from sampling processes in meta RL, an attacker can mislead the agent into
building wrong knowledge from training experience, which deteriorates the
agent's performance when dealing with different tasks after adaptation. This
paper provides a game-theoretical underpinning for understanding this type of
security risk. In particular, we formally define the sampling attack model as a
Stackelberg game between the attacker and the agent, which yields a minimax
formulation. It leads to two online attack schemes: Intermittent Attack and
Persistent Attack, which enable the attacker to learn an optimal sampling
attack, defined by an $\epsilon$-first-order stationary point, within
$\mathcal{O}(\epsilon^{-2})$ iterations. These attack schemes freeride the
learning progress concurrently without extra interactions with the environment.
By corroborating the convergence results with numerical experiments, we observe
that a minor effort of the attacker can significantly deteriorate the learning
performance, and the minimax approach can also help robustify the meta RL
algorithms.
- Abstract（参考訳）: meta reinforcement learning(メタ強化学習)は、メタ学習のアイデアと強化学習(rl)を組み合わせたもので、エージェントがいくつかのサンプルを使用して異なるタスクに適応できるようにする。
しかし、このサンプリングベースの適応は、メタRLを敵攻撃に対して脆弱にする。
メタRLにおけるサンプリングプロセスからの報酬フィードバックを操作することにより、攻撃者はエージェントを誤誘導してトレーニング経験から間違った知識を構築することができ、適応後の異なるタスクに対処する際のエージェントのパフォーマンスを低下させる。
本稿では,この種のセキュリティリスクを理解するためのゲーム理論的基盤を提供する。
特に、サンプリング攻撃モデルを攻撃者とエージェントの間のスタックルバーグゲームとして正式に定義し、それがminimaxの定式化となる。
これは2つのオンライン攻撃スキームを導く: 間欠攻撃と永続攻撃で、攻撃者は$\mathcal{o}(\epsilon^{-2})$の反復内で$\epsilon$-first-order stationary pointで定義される最適なサンプリング攻撃を学ぶことができる。
これらの攻撃スキームは、環境との余分な相互作用なしに学習の進行を同時に解放する。
数値実験で収束結果と照合することにより,攻撃者の小さな努力が学習性能を著しく低下させ,minimaxアプローチがメタrlアルゴリズムの堅牢化にも寄与することを確認した。
関連論文リスト
- Meta Stackelberg Game: Robust Federated Learning against Adaptive and Mixed Poisoning Attacks [15.199885837603576]
フェデレーテッド・ラーニング(FL)は、様々なセキュリティ上の脅威を受けやすい。
我々は,ゲーム解決のための効果的なメタラーニング手法を開発し,堅牢で適応的なFLディフェンスを実現する。
論文 参考訳（メタデータ） (2024-10-22T21:08:28Z) - Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。
メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。
MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
論文 参考訳（メタデータ） (2024-04-04T10:10:38Z) - Discriminative Adversarial Unlearning [40.30974185546541]
我々は、min-max最適化パラダイムの確立した原則に基づいて、新しい機械学習フレームワークを導入する。
我々は、訓練されたモデルから特定のサンプルの学習を容易にするために、強力なメンバーシップ推論攻撃(MIA)の能力を利用する。
提案アルゴリズムは,スクラッチから再学習する理想的なベンチマークを,ランダムサンプルの忘れ方とクラスワイドの忘れ方の両方に近似する。
論文 参考訳（メタデータ） (2024-02-10T03:04:57Z) - Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
敵RLでは、外部攻撃者は、環境との相互作用を操作できる。
我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。
被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
論文 参考訳（メタデータ） (2023-11-30T21:21:47Z) - Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳（メタデータ） (2022-08-17T05:49:52Z) - Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。
有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。
SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
論文 参考訳（メタデータ） (2022-07-25T03:24:58Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-13T13:54:24Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳（メタデータ） (2021-05-18T17:48:15Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。