論文の概要: UBA-ORL: Unlearning-Activated Backdoor Attacks on Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.22711v1
• Date: Sat, 19 Sep 2026 02:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:31:50.941261
• Title: UBA-ORL: Unlearning-Activated Backdoor Attacks on Offline Reinforcement Learning
• Title（参考訳）: UBA-ORL:オフライン強化学習における未学習のバックドア攻撃
• Abstract要約: UBA-ORL(Unlearning-activated Backdoor Attack on Offline Reinforcement Learning)は、オフラインRLのための最初の未学習のバックドアアタックである。 UBA-ORLはオフラインRL設定で制御可能なアクティベーションを実現する。 我々は,コミュニティに対して,従順な未学習サービスのための,共同で事前/未学習監査機構を開発するよう促す。
• 参考スコア（独自算出の注目度）: 17.101598440095877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline reinforcement learning (offline RL) enables policy learning from pre-collected static datasets without online exploration, and is increasingly deployed not only in safety-critical domains such as autonomous driving and robotic control but also in data-mining applications such as recommendation and behavior analysis. While compliance-driven data removal enhances privacy, it also opens a previously unrecognized attack surface. We introduce UBA-ORL (Unlearning-activated Backdoor Attack on Offline Reinforcement Learning), the first unlearning-activated backdoor attack for offline RL: in the evaluated settings, the attack is substantially suppressed after normal training and becomes pronounced after a compliance-driven deletion (unlearning) request. UBA-ORL employs a dual-sample mechanism: alongside backdoor trajectories (BD) that link a trigger to malicious actions under inflated rewards, the attacker injects camouflage trajectories (CM) sharing the same trigger pattern but preserving benign actions with equally high rewards. During training, BD and CM provide competing supervisory signals; upon a legitimate deletion request on the CM subset, the residual BD signal can re-dominate, reactivating the backdoor on demand. Empirical results show that UBA-ORL achieves controllable activation under the evaluated offline-RL configurations, while no-trigger return changes vary by configuration, exposing a previously overlooked security risk in compliance-driven offline RL platforms. We urge the community to develop joint pre-/post-unlearning auditing mechanisms for compliant unlearning services.
• Abstract（参考訳）: オフライン強化学習(オフラインRL)は、オンライン探索なしで事前コンパイルされた静的データセットからポリシー学習を可能にし、自律運転やロボット制御といった安全クリティカルな領域だけでなく、レコメンデーションや行動分析といったデータマイニングアプリケーションにもますます導入されている。 コンプライアンス駆動のデータ削除はプライバシを高める一方で、これまで認識されていなかった攻撃面も開放する。 UBA-ORL(Unlearning-activated Backdoor Attack on Offline Reinforcement Learning)は、オフラインRLに対する最初の未学習アクティベートバックドアアタックである。 UBA-ORLは二重サンプリング機構を採用している: 引き金を膨らませた報酬の下で悪意あるアクションにリンクするバックドア・トラジェクトリ(BD)と共に、攻撃者は同じトリガーパターンを共有するが、同等に高い報酬で良性行動を保存するカモフラージュ・トラジェクトリ(CM)を注入する。 トレーニング中、BDとCMは競合する監視信号を提供し、CMサブセットの正当な削除要求により、残留したBD信号が再支配され、要求に応じてバックドアが再活性化される。 実験の結果,UBA-ORLはオフライン-RL設定で制御可能なアクティベーションを実現する一方で,非トリガーリターンは構成によって異なり,コンプライアンス駆動のオフラインRLプラットフォームでこれまで見過ごされていたセキュリティリスクが明らかにされることがわかった。 我々は,コミュニティに対して,従順な未学習サービスのための,共同で事前/未学習監査機構を開発するよう促す。

関連論文リスト

• When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
  ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。 我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。 クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
  論文  参考訳（メタデータ） (2026-08-02T08:38:44Z)
• TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning [18.411026872661083]
  オフラインRL(TOUR)におけるトラジェクトリレベルのmemOrizationとUnlearningを導入する。 TOURは、トラジェクトリレベルのパーティショニング、マッチした非メンバーコントロール、参照の再トレーニング、保持されたパフォーマンスアンカー、プライバシ監査を組み合わせたものだ。 一般的な削除ベースラインは環境に依存したプライバシ・ユーティリティーの挙動を示す。
  論文  参考訳（メタデータ） (2026-07-23T09:40:40Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• GRPO Privacy Is at Risk: A Membership Inference Attack Against Reinforcement Learning With Verifiable Rewards [13.369116707284121]
  Divergence-in-Behavior Attack (DIBA)は、Reinforcement Learning with Verifiable Rewards用に特別に設計された最初のメンバーシップ推論フレームワークである。 以上の結果から,DIBAは既存のベースラインを大きく上回り,約0.8AUC,高次TPR@0.1%FPRを達成した。 これは、RLVRにおけるプライバシーの脆弱性を体系的に分析する最初の研究であり、データ露出のトレーニングが行動トレースを通じて確実に推測できることを明らかにする。
  論文  参考訳（メタデータ） (2025-11-18T01:51:34Z)
• TabVLA: Targeted Backdoor Attacks on Vision-Language-Action Models [63.51290426425441]
  バックドア付きVLAエージェントは、プレインジェクトされたバックドアによって隠蔽的にトリガーされ、敵のアクションを実行することができる。 我々は,VLAモデルに対するターゲットバックドア攻撃について検討し,ブラックボックスファインチューニングによる攻撃を可能にする新しいフレームワークであるTabVLAを紹介した。 我々の研究は、バックドア操作をターゲットにしたVLAモデルの脆弱性を強調し、より高度な防御の必要性を強調します。
  論文  参考訳（メタデータ） (2025-10-13T02:45:48Z)
• Beyond Training-time Poisoning: Component-level and Post-training Backdoors in Deep Reinforcement Learning [2.8311497176067104]
  深層強化学習(Dep Reinforcement Learning, DRL)システムは、安全クリティカルなアプリケーションでますます使われているが、そのセキュリティはいまだに過小評価されている。 本研究は、特定の入力が観測空間に現れる場合にのみ悪意ある行為を引き起こす隠されたトリガーを埋め込むバックドア攻撃を調査する。 1) 完全モデル再訓練に耐える持続的バックドアを移植するためにコンポーネントレベルの欠陥を利用するTrojanentRLと,(2) トレーニングや検証,テストデータへのアクセスを必要としないトレーニング後のバックドア攻撃であるInfrectroRLである。
  論文  参考訳（メタデータ） (2025-07-07T11:15:54Z)
• UNIDOOR: A Universal Framework for Action-Level Backdoor Attacks in Deep Reinforcement Learning [29.276629583642002]
  アクションレベルのバックドアは、正確な操作と柔軟なアクティベーションを通じて重大な脅威を引き起こす。 本稿では、UNIDOORと呼ばれる、最初のユニバーサルアクションレベルのバックドアアタックフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-26T13:43:39Z)
• Unlearn to Relearn Backdoors: Deferred Backdoor Functionality Attacks on Deep Learning Models [6.937795040660591]
  バックドア攻撃の新たなパラダイムとして,Deferred Activated Backdoor Functionality (DABF)を紹介した。 従来の攻撃とは異なり、DABFは当初バックドアを隠蔽し、起動しても良質な出力を生成する。 DABF攻撃は、マシンラーニングモデルのライフサイクルで一般的なプラクティスを利用して、モデル更新と初期デプロイ後の微調整を実行する。
  論文  参考訳（メタデータ） (2024-11-10T07:01:53Z)
• Curriculum Offline Imitation Learning [72.1015201041391]
  オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。 我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。 連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
  論文  参考訳（メタデータ） (2021-11-03T08:02:48Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。