論文の概要: Stealing Deep Reinforcement Learning Models for Fun and Profit

• arxiv url: http://arxiv.org/abs/2006.05032v2
• Date: Tue, 22 Dec 2020 08:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:44:02.825645
• Title: Stealing Deep Reinforcement Learning Models for Fun and Profit
• Title（参考訳）: 楽しみと利益のために深層強化学習モデルを盗む
• Authors: Kangjie Chen, Shangwei Guo, Tianwei Zhang, Xiaofei Xie and Yang Liu
• Abstract要約: 本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
• 参考スコア（独自算出の注目度）: 33.64948529132546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the first model extraction attack against Deep Reinforcement Learning (DRL), which enables an external adversary to precisely recover a black-box DRL model only from its interaction with the environment. Model extraction attacks against supervised Deep Learning models have been widely studied. However, those techniques cannot be applied to the reinforcement learning scenario due to DRL models' high complexity, stochasticity and limited observable information. We propose a novel methodology to overcome the above challenges. The key insight of our approach is that the process of DRL model extraction is equivalent to imitation learning, a well-established solution to learn sequential decision-making policies. Based on this observation, our methodology first builds a classifier to reveal the training algorithm family of the targeted black-box DRL model only based on its predicted actions, and then leverages state-of-the-art imitation learning techniques to replicate the model from the identified algorithm family. Experimental results indicate that our methodology can effectively recover the DRL models with high fidelity and accuracy. We also demonstrate two use cases to show that our model extraction attack can (1) significantly improve the success rate of adversarial attacks, and (2) steal DRL models stealthily even they are protected by DNN watermarks. These pose a severe threat to the intellectual property and privacy protection of DRL applications.
• Abstract（参考訳）: 本稿では,外敵が環境との相互作用からのみブラックボックスのDRLモデルを正確に復元することのできる,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 教師付きディープラーニングモデルに対するモデル抽出攻撃は広く研究されている。 しかし,これらの手法は,drlモデルの複雑性,確率性,観測可能な情報が少ないため,強化学習シナリオには適用できない。 上記の課題を克服するための新しい手法を提案する。 このアプローチの重要な洞察は、drlモデル抽出のプロセスは、逐次的な意思決定ポリシーを学ぶための確立されたソリューションである模倣学習と等価であるということです。 本手法は,まず,予測された動作に基づいて,対象のブラックボックスDRLモデルのトレーニングアルゴリズムファミリーを明らかにするための分類器を構築し,次に,最先端の模倣学習技術を利用して同定されたアルゴリズムファミリーからモデルを複製する。 実験結果から,本手法は高い忠実度と精度でDRLモデルを効果的に回収できることが示唆された。 また, モデル抽出攻撃は, 1) 敵攻撃の成功率を著しく向上させ, 2) DNN透かしで保護されてもDRLモデルを盗むことができることを示す2つのユースケースを示した。 これらはDRLアプリケーションの知的財産権とプライバシー保護に深刻な脅威をもたらす。

関連論文リスト

• Black-box Adversarial Attacks against Dense Retrieval Models: A Multi-view Contrastive Learning Method [115.29382166356478]
  本稿では,敵探索攻撃(AREA)タスクを紹介する。 DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。 NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。 マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
  論文  参考訳（メタデータ） (2023-08-19T00:24:59Z)
• Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of Foundation Models [103.71308117592963]
  本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。 小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
  論文  参考訳（メタデータ） (2022-11-27T21:43:45Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Double Check Your State Before Trusting It: Confidence-Aware Bidirectional Offline Model-Based Imagination [31.805991958408438]
  トレーニングされた双方向ダイナミクスモデルとロールアウトポリシをダブルチェックで使用することにより,オフラインデータセットの強化を提案する。 提案手法は,信頼度を考慮した双方向オフラインモデルに基づくイマジネーションであり,信頼度の高いサンプルを生成し,任意のモデルレスオフラインRL法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-06-16T08:00:44Z)
• Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models [67.78935378952146]
  GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。 強化学習と潜在変数生成モデルの組み合わせを利用する。 最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
  論文  参考訳（メタデータ） (2022-04-18T22:02:32Z)
• PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration [15.173628100049129]
  本研究では,カーネル化レギュレータ(KNR)と線形マルコフ決定過程(MDP)のモデルベースアルゴリズムについて検討する。 両方のモデルに対して、我々のアルゴリズムはサンプルの複雑さを保証し、プランニングオラクルへのアクセスのみを使用する。 また,提案手法は報酬のない探索を効率的に行うことができる。
  論文  参考訳（メタデータ） (2021-07-15T15:49:30Z)
• Model Extraction and Defenses on Generative Adversarial Networks [0.9442139459221782]
  生成敵ネットワーク(GAN)に対するモデル抽出攻撃の実現可能性について検討する。 本稿では,GANモデルの実用性とセキュリティのトレードオフを考慮した効果的な防衛手法を提案する。
  論文  参考訳（メタデータ） (2021-01-06T14:36:21Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。