論文の概要: Multi-level Certified Defense Against Poisoning Attacks in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.20621v1
• Date: Tue, 27 May 2025 01:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.339492
• Title: Multi-level Certified Defense Against Poisoning Attacks in Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習における毒殺攻撃に対する多段階認証防御
• Authors: Shijie Liu, Andrew C. Cullen, Paul Montague, Sarah Erfani, Benjamin I. P. Rubinstein,
• Abstract要約: オフライン強化学習(RL)は中毒攻撃に弱いことが示されている。 我々は、敵の操作に対するより大きな保証を提供するため、認証された防御を拡張します。
• 参考スコア（独自算出の注目度）: 20.41701122824956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Similar to other machine learning frameworks, Offline Reinforcement Learning (RL) is shown to be vulnerable to poisoning attacks, due to its reliance on externally sourced datasets, a vulnerability that is exacerbated by its sequential nature. To mitigate the risks posed by RL poisoning, we extend certified defenses to provide larger guarantees against adversarial manipulation, ensuring robustness for both per-state actions, and the overall expected cumulative reward. Our approach leverages properties of Differential Privacy, in a manner that allows this work to span both continuous and discrete spaces, as well as stochastic and deterministic environments -- significantly expanding the scope and applicability of achievable guarantees. Empirical evaluations demonstrate that our approach ensures the performance drops to no more than $50\%$ with up to $7\%$ of the training data poisoned, significantly improving over the $0.008\%$ in prior work~\citep{wu_copa_2022}, while producing certified radii that is $5$ times larger as well. This highlights the potential of our framework to enhance safety and reliability in offline RL.
• Abstract（参考訳）: 他の機械学習フレームワークと同様に、外部ソースデータセットに依存しているため、オフライン強化学習(RL)は、そのシーケンシャルな性質によって悪化する脆弱性である中毒攻撃に対して脆弱であることが示されている。 RL中毒によるリスクを軽減するため、我々は認証された防衛を強化し、敵の操作に対するより大きな保証を提供し、国家ごとの行動と全体的な累積報酬の堅牢性を確保します。 このアプローチでは、連続した空間と離散的な空間の両方にまたがる作業を可能にすると同時に、確率的かつ決定論的環境 – 達成可能な保証の範囲と適用性を大幅に拡大する手段として、微分プライバシの特性を活用しています。 実験的な評価によると、我々の手法は、トレーニングデータのうち最大で最大$7\%で50\%以上のパフォーマンス低下を保証し、以前の作業~\citep{wu_copa_2022}の0.008\%よりも大幅に改善した。 これは、オフラインRLの安全性と信頼性を高めるフレームワークの可能性を強調します。

関連論文リスト

• Feasibility-Aware Pessimistic Estimation: Toward Long-Horizon Safety in Offline RL [14.767273209148545]
  CVAEに基づくペシミズム(FASP)を用いたオフラインセーフ強化学習フレームワークを提案する。 我々はハミルトン・ヤコビ(H-J)リーチビリティ解析を用いて信頼性の高い安全ラベルを生成する。 また,報酬とコストのQ値の推定にも悲観的推定法を用いる。
  論文  参考訳（メタデータ） (2025-05-13T02:32:49Z)
• Reward-Safety Balance in Offline Safe RL via Diffusion Regularization [16.5825143820431]
  制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。 DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
  論文  参考訳（メタデータ） (2025-02-18T00:00:03Z)
• Raising the Bar for Certified Adversarial Robustness with Diffusion Models [9.684141378657522]
  本研究では,同様のアプローチが決定論的証明された防御を著しく改善できることを実証する。 主な洞察の1つは、元のモデルのトレーニングとテストの精度の違いは、改善の規模を予測できることです。 提案手法は,CIFAR-10 上で $ell$ ($epsilon = 36/255$) および $ell_infty$ ($epsilon = 8/255$) 脅威モデルに対して,最先端の決定論的堅牢性証明を実現する。
  論文  参考訳（メタデータ） (2023-05-17T17:29:10Z)
• What can online reinforcement learning with function approximation benefit from general coverage conditions? [53.90873926758026]
  オンライン強化学習(RL)では、マルコフ決定過程(MDP)の標準的な構造仮定を採用する代わりに、特定のカバレッジ条件を使用するだけで十分である。 本研究は,より可能で一般的なカバレッジ条件を掘り下げることにより,この新たな方向性に焦点をあてる。 我々は、集中度の変化である$Lp$の変動、密度比の実現可能性、部分/レストカバレッジ条件でのトレードオフなど、さらに多くの概念を識別する。
  論文  参考訳（メタデータ） (2023-04-25T14:57:59Z)
• Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks [23.907977144668838]
  本稿では,PMDPの真の状態が学習時にわかっているという仮定を付加する,部分教師付き強化学習(PSRL)フレームワークを提案する。 逆入力摂動下でのPSRLポリシーの安全性を検証するための最初のアプローチと、PSRLを直接利用する2つの逆トレーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-28T22:33:38Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。