論文の概要: Mind Your Data! Hiding Backdoors in Offline Reinforcement Learning Datasets

• arxiv url: http://arxiv.org/abs/2210.04688v1
• Date: Fri, 7 Oct 2022 07:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:17:34.874821
• Title: Mind Your Data! Hiding Backdoors in Offline Reinforcement Learning Datasets
• Title（参考訳）: データに気をつけろ! オフライン強化学習データセットにおけるバックドアの隠蔽
• Authors: Chen Gong, Zhou Yang, Yunpeng Bai, Junda He, Jieke Shi, Arunesh Sinha, Bowen Xu, Xinwen Hou, Guoliang Fan, David Lo
• Abstract要約: オフライン強化学習のためのバックドアアタック(Backdoor Attack for Offline Reinforcement Learning)を提案する。 既存のオフラインRLアルゴリズムはいずれも、そのようなバックドア攻撃に免疫がない。 本稿では、オープンソースオフラインRLデータセットのより効果的な保護を開発することへの注意を喚起する。
• 参考スコア（独自算出の注目度）: 34.14092326362295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A growing body of research works has focused on the Offline Reinforcement Learning (RL) paradigm. Data providers share large pre-collected datasets on which others can train high-quality agents without interacting with the environments. Such an offline RL paradigm has demonstrated effectiveness in many critical tasks, including robot control, autonomous driving, etc. A well-trained agent can be regarded as a software system. However, less attention is paid to investigating the security threats to the offline RL system. In this paper, we focus on a critical security threat: backdoor attacks. Given normal observations, an agent implanted with backdoors takes actions leading to high rewards. However, the same agent takes actions that lead to low rewards if the observations are injected with triggers that can activate the backdoor. In this paper, we propose Baffle (Backdoor Attack for Offline Reinforcement Learning) and evaluate how different Offline RL algorithms react to this attack. Our experiments conducted on four tasks and four offline RL algorithms expose a disquieting fact: none of the existing offline RL algorithms is immune to such a backdoor attack. More specifically, Baffle modifies $10\%$ of the datasets for four tasks (3 robotic controls and 1 autonomous driving). Agents trained on the poisoned datasets perform well in normal settings. However, when triggers are presented, the agents' performance decreases drastically by $63.6\%$, $57.8\%$, $60.8\%$ and $44.7\%$ in the four tasks on average. The backdoor still persists after fine-tuning poisoned agents on clean datasets. We further show that the inserted backdoor is also hard to be detected by a popular defensive method. This paper calls attention to developing more effective protection for the open-source offline RL dataset.
• Abstract（参考訳）: 成長する研究機関は、オフライン強化学習(RL)パラダイムに焦点を当てている。 データプロバイダは、環境との対話なしに高品質なエージェントを訓練できる大規模なデータセットを共有している。 このようなオフラインRLパラダイムは、ロボット制御や自律運転など、多くの重要なタスクにおいて有効性を示している。 訓練されたエージェントはソフトウェアシステムと見なすことができる。 しかし、オフラインのRLシステムに対するセキュリティ脅威の調査には注意が払われていない。 本稿では、バックドア攻撃という重要なセキュリティ脅威に焦点を当てる。 通常の観察では、バックドアを埋め込んだエージェントは高い報酬をもたらす。 しかし、同じエージェントは、バックドアを活性化できるトリガーで観察が注入された場合、低い報酬につながる行動を取る。 本稿では,baffle (backdoor attack for offline reinforcement learning) を提案し,この攻撃に対して異なるオフラインrlアルゴリズムがどのように反応するかを評価する。 4つのタスクと4つのオフラインRLアルゴリズムで実施した実験では,既存のオフラインRLアルゴリズムはいずれも,そのようなバックドア攻撃に対して無害である,という不合理な事実が明らかになった。 具体的には、Baffleは4つのタスク(3つのロボット制御と1つの自律運転)のデータセットの10ドル%を修正している。 有毒データセットでトレーニングされたエージェントは、通常の設定でうまく動作します。 しかし、トリガーが提示されると、エージェントのパフォーマンスは、平均すると、63.6\%$、57.8\%$、68\%$、44.7\%$で劇的に低下する。 バックドアは、清潔なデータセットに汚染物質を微調整した後も継続する。 また,一般的な防御手法では挿入バックドアの検出が困難であることを示す。 本稿では,オープンソースオフラインRLデータセットのより効果的な保護開発に注目する。

関連論文リスト

• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• TrajDeleter: Enabling Trajectory Forgetting in Offline Reinforcement Learning Agents [10.798271657186492]
  本稿では、オフラインRLエージェントのための軌道学習のための最初の実践的アプローチであるTrajdeleterを提唱する。 Trajdeleterのキーとなるアイデアは、エージェントをガイドして、未学習の軌跡に関連する状態に遭遇した際のパフォーマンス低下を示すことである。 6つのオフラインRLアルゴリズムと3つのタスクで実施された大規模な実験は、トラジデレターがスクラッチから再トレーニングするのに必要な時間の約1.5%しか必要としていないことを示した。
  論文  参考訳（メタデータ） (2024-04-18T22:23:24Z)
• BadRL: Sparse Targeted Backdoor Attack Against Reinforcement Learning [37.19070609394519]
  強化学習(RL)におけるバックドア攻撃は、これまで攻撃の成功を確実にするために激しい攻撃戦略を採用してきた。 本研究は, トレーニングおよび試験において, 背部毒を多量に投与することに焦点を当てた新しいアプローチであるBadRLを提案する。 私たちのアルゴリズムであるBadRLは、高い攻撃値を持つ状態観測を戦略的に選択し、トレーニングやテスト中にトリガーを注入し、検出の機会を減らす。
  論文  参考訳（メタデータ） (2023-12-19T20:29:29Z)
• ORL-AUDITOR: Dataset Auditing in Offline Deep Reinforcement Learning [42.87245000172943]
  オフラインの深層強化学習(オフラインDRL)は、事前にコンパイルされたデータセットのモデルをトレーニングするために頻繁に使用される。 オフラインDRLシナリオを対象とした最初のトラジェクトリレベルのデータセット監査機構であるORL-AUDITORを提案する。 複数のオフラインDRLモデルとタスクに対する実験により、監査精度が95%以上、偽陽性率が2.88%未満であるORL-AUDITORの有効性が示された。
  論文  参考訳（メタデータ） (2023-09-06T15:28:43Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning [147.61075994259807]
  オフラインRLに対するデータ中心型アプローチであるオフラインRL(ExORL)の探索データを提案する。 ExORLは最初、教師なしの報酬のない探索でデータを生成し、オフラインのRLでポリシーをトレーニングする前に、そのデータを下流の報酬でラベル付けする。 探索データにより、オフライン固有の変更なしに、バニラオフポリティRLアルゴリズムが、ダウンストリームタスクで最先端のオフラインRLアルゴリズムより優れているか、あるいは一致することが判明した。
  論文  参考訳（メタデータ） (2022-01-31T18:39:27Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)
• BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning [80.99426477001619]
  バックドア攻撃を複数のエージェントを含むより複雑なRLシステムに移行する。 概念実証として、敵のエージェントが被害者エージェントのバックドアを独自のアクションでトリガーできることを実証します。 その結果, バックドアが作動すると, 有効でない場合と比較して, 被害者の勝利率は17%から37%に低下することがわかった。
  論文  参考訳（メタデータ） (2021-05-02T23:47:55Z)
• D4RL: Datasets for Deep Data-Driven Reinforcement Learning [119.49182500071288]
  オフラインRLのリアルタイムアプリケーションに関連するデータセットのキープロパティによってガイドされるオフライン設定用に特別に設計されたベンチマークを紹介する。 部分的に訓練されたRLエージェントによって収集された単純なベンチマークタスクやデータを超えて、既存のアルゴリズムの重要かつ未承認な欠陥を明らかにする。
  論文  参考訳（メタデータ） (2020-04-15T17:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。