論文の概要: Mind Your Data! Hiding Backdoors in Offline Reinforcement Learning
Datasets
- arxiv url: http://arxiv.org/abs/2210.04688v1
- Date: Fri, 7 Oct 2022 07:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 15:17:34.874821
- Title: Mind Your Data! Hiding Backdoors in Offline Reinforcement Learning
Datasets
- Title(参考訳): データに気をつけろ!
オフライン強化学習データセットにおけるバックドアの隠蔽
- Authors: Chen Gong, Zhou Yang, Yunpeng Bai, Junda He, Jieke Shi, Arunesh Sinha,
Bowen Xu, Xinwen Hou, Guoliang Fan, David Lo
- Abstract要約: オフライン強化学習のためのバックドアアタック(Backdoor Attack for Offline Reinforcement Learning)を提案する。
既存のオフラインRLアルゴリズムはいずれも、そのようなバックドア攻撃に免疫がない。
本稿では、オープンソースオフラインRLデータセットのより効果的な保護を開発することへの注意を喚起する。
- 参考スコア(独自算出の注目度): 34.14092326362295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A growing body of research works has focused on the Offline Reinforcement
Learning (RL) paradigm. Data providers share large pre-collected datasets on
which others can train high-quality agents without interacting with the
environments. Such an offline RL paradigm has demonstrated effectiveness in
many critical tasks, including robot control, autonomous driving, etc. A
well-trained agent can be regarded as a software system. However, less
attention is paid to investigating the security threats to the offline RL
system. In this paper, we focus on a critical security threat: backdoor
attacks. Given normal observations, an agent implanted with backdoors takes
actions leading to high rewards. However, the same agent takes actions that
lead to low rewards if the observations are injected with triggers that can
activate the backdoor. In this paper, we propose Baffle (Backdoor Attack for
Offline Reinforcement Learning) and evaluate how different Offline RL
algorithms react to this attack. Our experiments conducted on four tasks and
four offline RL algorithms expose a disquieting fact: none of the existing
offline RL algorithms is immune to such a backdoor attack. More specifically,
Baffle modifies $10\%$ of the datasets for four tasks (3 robotic controls and 1
autonomous driving). Agents trained on the poisoned datasets perform well in
normal settings. However, when triggers are presented, the agents' performance
decreases drastically by $63.6\%$, $57.8\%$, $60.8\%$ and $44.7\%$ in the four
tasks on average. The backdoor still persists after fine-tuning poisoned agents
on clean datasets. We further show that the inserted backdoor is also hard to
be detected by a popular defensive method. This paper calls attention to
developing more effective protection for the open-source offline RL dataset.
- Abstract(参考訳): 成長する研究機関は、オフライン強化学習(RL)パラダイムに焦点を当てている。
データプロバイダは、環境との対話なしに高品質なエージェントを訓練できる大規模なデータセットを共有している。
このようなオフラインRLパラダイムは、ロボット制御や自律運転など、多くの重要なタスクにおいて有効性を示している。
訓練されたエージェントはソフトウェアシステムと見なすことができる。
しかし、オフラインのRLシステムに対するセキュリティ脅威の調査には注意が払われていない。
本稿では、バックドア攻撃という重要なセキュリティ脅威に焦点を当てる。
通常の観察では、バックドアを埋め込んだエージェントは高い報酬をもたらす。
しかし、同じエージェントは、バックドアを活性化できるトリガーで観察が注入された場合、低い報酬につながる行動を取る。
本稿では,baffle (backdoor attack for offline reinforcement learning) を提案し,この攻撃に対して異なるオフラインrlアルゴリズムがどのように反応するかを評価する。
4つのタスクと4つのオフラインRLアルゴリズムで実施した実験では,既存のオフラインRLアルゴリズムはいずれも,そのようなバックドア攻撃に対して無害である,という不合理な事実が明らかになった。
具体的には、Baffleは4つのタスク(3つのロボット制御と1つの自律運転)のデータセットの10ドル%を修正している。
有毒データセットでトレーニングされたエージェントは、通常の設定でうまく動作します。
しかし、トリガーが提示されると、エージェントのパフォーマンスは、平均すると、63.6\%$、57.8\%$、68\%$、44.7\%$で劇的に低下する。
バックドアは、清潔なデータセットに汚染物質を微調整した後も継続する。
また,一般的な防御手法では挿入バックドアの検出が困難であることを示す。
本稿では,オープンソースオフラインRLデータセットのより効果的な保護開発に注目する。
関連論文リスト
- BadRL: Sparse Targeted Backdoor Attack Against Reinforcement Learning [37.19070609394519]
強化学習(RL)におけるバックドア攻撃は、これまで攻撃の成功を確実にするために激しい攻撃戦略を採用してきた。
本研究は, トレーニングおよび試験において, 背部毒を多量に投与することに焦点を当てた新しいアプローチであるBadRLを提案する。
私たちのアルゴリズムであるBadRLは、高い攻撃値を持つ状態観測を戦略的に選択し、トレーニングやテスト中にトリガーを注入し、検出の機会を減らす。
論文 参考訳(メタデータ) (2023-12-19T20:29:29Z) - ORL-AUDITOR: Dataset Auditing in Offline Deep Reinforcement Learning [42.87245000172943]
オフラインの深層強化学習(オフラインDRL)は、事前にコンパイルされたデータセットのモデルをトレーニングするために頻繁に使用される。
オフラインDRLシナリオを対象とした最初のトラジェクトリレベルのデータセット監査機構であるORL-AUDITORを提案する。
複数のオフラインDRLモデルとタスクに対する実験により、監査精度が95%以上、偽陽性率が2.88%未満であるORL-AUDITORの有効性が示された。
論文 参考訳(メタデータ) (2023-09-06T15:28:43Z) - Backdoor Attack with Sparse and Invisible Trigger [60.84183404621145]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Recover Triggered States: Protect Model Against Backdoor Attack in
Reinforcement Learning [23.94769537680776]
バックドア攻撃は、悪意のあるユーザーが環境を操作したり、トレーニングデータを破損させたりすることで、トレーニングされたエージェントにバックドアを挿入することができる。
本稿では,バックドア攻撃から被害者エージェントを効果的に保護する新しい手法であるリカバリトリガードステイト(RTS)手法を提案する。
論文 参考訳(メタデータ) (2023-04-01T08:00:32Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Don't Change the Algorithm, Change the Data: Exploratory Data for
Offline Reinforcement Learning [147.61075994259807]
オフラインRLに対するデータ中心型アプローチであるオフラインRL(ExORL)の探索データを提案する。
ExORLは最初、教師なしの報酬のない探索でデータを生成し、オフラインのRLでポリシーをトレーニングする前に、そのデータを下流の報酬でラベル付けする。
探索データにより、オフライン固有の変更なしに、バニラオフポリティRLアルゴリズムが、ダウンストリームタスクで最先端のオフラインRLアルゴリズムより優れているか、あるいは一致することが判明した。
論文 参考訳(メタデータ) (2022-01-31T18:39:27Z) - Offline-to-Online Reinforcement Learning via Balanced Replay and
Pessimistic Q-Ensemble [135.6115462399788]
深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。
状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。
本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
論文 参考訳(メタデータ) (2021-07-01T16:26:54Z) - BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning [80.99426477001619]
バックドア攻撃を複数のエージェントを含むより複雑なRLシステムに移行する。
概念実証として、敵のエージェントが被害者エージェントのバックドアを独自のアクションでトリガーできることを実証します。
その結果, バックドアが作動すると, 有効でない場合と比較して, 被害者の勝利率は17%から37%に低下することがわかった。
論文 参考訳(メタデータ) (2021-05-02T23:47:55Z) - D4RL: Datasets for Deep Data-Driven Reinforcement Learning [119.49182500071288]
オフラインRLのリアルタイムアプリケーションに関連するデータセットのキープロパティによってガイドされるオフライン設定用に特別に設計されたベンチマークを紹介する。
部分的に訓練されたRLエージェントによって収集された単純なベンチマークタスクやデータを超えて、既存のアルゴリズムの重要かつ未承認な欠陥を明らかにする。
論文 参考訳(メタデータ) (2020-04-15T17:18:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。