論文の概要: Online Poisoning Attack Against Reinforcement Learning under Black-box Environments

• arxiv url: http://arxiv.org/abs/2412.00797v1
• Date: Sun, 01 Dec 2024 12:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:46.337216
• Title: Online Poisoning Attack Against Reinforcement Learning under Black-box Environments
• Title（参考訳）: ブラックボックス環境下での強化学習に対するオンラインいじめ攻撃
• Authors: Jianhui Li, Bokang Zhang, Junfeng Wu,
• Abstract要約: 本稿では,ブラックボックス環境で動作する強化学習エージェントに適したオンライン環境汚染アルゴリズムを提案する。 まず,報酬関数や状態遷移を害する攻撃手法を提案する。 ペナルティに基づく手法と二段階の改革を併用して、問題を制約のないものに変換する。
• 参考スコア（独自算出の注目度）: 3.3971307007467773
• License:
• Abstract: This paper proposes an online environment poisoning algorithm tailored for reinforcement learning agents operating in a black-box setting, where an adversary deliberately manipulates training data to lead the agent toward a mischievous policy. In contrast to prior studies that primarily investigate white-box settings, we focus on a scenario characterized by \textit{unknown} environment dynamics to the attacker and a \textit{flexible} reinforcement learning algorithm employed by the targeted agent. We first propose an attack scheme that is capable of poisoning the reward functions and state transitions. The poisoning task is formalized as a constrained optimization problem, following the framework of \cite{ma2019policy}. Given the transition probabilities are unknown to the attacker in a black-box environment, we apply a stochastic gradient descent algorithm, where the exact gradients are approximated using sample-based estimates. A penalty-based method along with a bilevel reformulation is then employed to transform the problem into an unconstrained counterpart and to circumvent the double-sampling issue. The algorithm's effectiveness is validated through a maze environment.
• Abstract（参考訳）: 本稿では,ブラックボックス環境で活動する強化学習エージェントに適したオンライン環境汚染アルゴリズムを提案する。 ホワイトボックス設定を主に研究する先行研究とは対照的に,攻撃者に対する環境力学の‘textit{unknown}’と,対象エージェントが使用する‘textit{flexible}強化学習アルゴリズムを特徴とするシナリオに焦点を当てた。 まず,報酬関数や状態遷移を害する攻撃手法を提案する。 中毒処理は, 制約付き最適化問題として定式化され, \cite{ma2019policy} の枠組みに従っている。 ブラックボックス環境における攻撃者への遷移確率が未知であるため、確率勾配降下アルゴリズムを適用し、サンプルベース推定を用いて正確な勾配を近似する。 次に、二段階の改革とともにペナルティに基づく手法を用いて、問題を制約のない問題に転換し、二重サンプリング問題を回避する。 アルゴリズムの有効性は迷路環境を通じて検証される。

関連論文リスト

• Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks [21.97069271045167]
  標的毒攻撃では、攻撃者はエージェントと環境の相互作用を操作して、ターゲットポリシーと呼ばれる利害政策を採用するように強制する。 本研究では,攻撃者がエージェントの有効環境を暗黙的に毒殺する2エージェント環境での標的毒殺攻撃について,仲間の方針を変更して検討した。 最適な攻撃を設計するための最適化フレームワークを開発し、攻撃のコストは、ピアエージェントが想定するデフォルトポリシーからどの程度逸脱するかを測定する。
  論文  参考訳（メタデータ） (2023-02-27T14:52:15Z)
• Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based Prior [50.393092185611536]
  対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。 従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。 偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-13T04:06:27Z)
• RamBoAttack: A Robust Query Efficient Deep Neural Network Decision Exploit [9.93052896330371]
  本研究では,局所的な最小値の侵入を回避し,ノイズ勾配からのミスダイレクトを回避できる,堅牢なクエリ効率の高い攻撃法を開発した。 RamBoAttackは、敵クラスとターゲットクラスで利用可能な異なるサンプルインプットに対して、より堅牢である。
  論文  参考訳（メタデータ） (2021-12-10T01:25:24Z)
• Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework [17.17479625646699]
  そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。 本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2021-10-28T17:31:51Z)
• Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering [32.904425716385575]
  勾配ベクトルの要素ワイドサインは, モデル中毒攻撃の検出に有用であることを示す。 そこで本稿では,Byzantine-robust フェデレーション学習を有害な勾配フィルタリングによって実現するための textitSignGuard という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-13T11:15:15Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Local Black-box Adversarial Attacks: A Query Efficient Approach [64.98246858117476]
  アドリアックは、セキュリティに敏感なシナリオにおけるディープニューラルネットワークの適用を脅かしている。 ブラックボックス攻撃における限られたクエリ内でのみクリーンな例の識別領域を摂動させる新しいフレームワークを提案する。 攻撃成功率の高いブラックボックス摂動時のクエリ効率を大幅に改善できることを示すため,広範な実験を行った。
  論文  参考訳（メタデータ） (2021-01-04T15:32:16Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• A black-box adversarial attack for poisoning clustering [78.19784577498031]
  本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。 我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-09T18:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。