論文の概要: Safe-RULE: Safe Reinforcement UnLEarning

• arxiv url: http://arxiv.org/abs/2606.09559v1
• Date: Mon, 08 Jun 2026 14:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.270107
• Title: Safe-RULE: Safe Reinforcement UnLEarning
• Title（参考訳）: Safe-RULE: 安全な強化を解き放つ
• Authors: Shixiong Jiang, Taozheng Zhu, Fanxin Kong,
• Abstract要約: オフライン安全な強化学習(Safe RL)は、オンラインインタラクションなしでポリシー学習を可能にする。 本稿では, 有害データの影響を取り除くための防御枠組みとして, 安全強化学習(Safe-RULE)を提案する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Offline safe reinforcement learning (Safe RL) enables policy learning without online interactions, making it suitable for safety-critical systems such as robotics systems. However, its reliance on static datasets exposes offline Safe RL to data poisoning attacks, where adversaries inject malicious samples that compromise safety and induce unsafe policy behavior. In this work, we propose a new learning paradigm, named safe reinforcement unlearning (Safe-RULE), used as a defense framework to remove the influence of poisoned data without retraining from scratch or requiring access to the original training environment. We further extend reinforcement unlearning to offline Safe RL by explicitly accounting for both task performance and safety constraints during the unlearning process. Experiments across benchmark Safe RL tasks demonstrate that our approach effectively enhances safety performance against data poisoning attacks.
• Abstract（参考訳）: オフライン型安全強化学習(Safe RL)は、オンラインインタラクションのないポリシー学習を可能にし、ロボティクスシステムのような安全クリティカルなシステムに適合する。 しかし、静的データセットへの依存は、オフラインのSafe RLをデータ中毒攻撃に晒し、敵は安全を損なう悪意のあるサンプルを注入し、安全でないポリシー行動を引き起こす。 本研究では,安全強化アンラーニング(Safe-RULE)と呼ばれる新たな学習パラダイムを提案する。 さらに、未学習プロセス中のタスク性能と安全性の制約を明示的に考慮し、オフラインのSafe RLへの強化アンラーニングをさらに拡張する。 Safe RLタスクのベンチマーク実験により、我々の手法はデータ中毒攻撃に対する安全性を効果的に向上することを示した。

関連論文リスト

• Skill-based Safe Reinforcement Learning with Risk Planning [23.15178050525514]
  セーフ強化学習(Safe Reinforcement Learning, セーフRL)は、RLエージェントが現実世界の環境と対話して学習を行う場合の安全性を保証することを目的としている。 そこで本稿では, オフラインのオフラインデモデータを活用することにより, 効果的な安全なRLを実現するための新しいセーフスキルプランニング(SSkP)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-02T22:48:27Z)
• Don't Trade Off Safety: Diffusion Regularization for Constrained Offline RL [21.316556011382932]
  制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。 DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
  論文  参考訳（メタデータ） (2025-02-18T00:00:03Z)
• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding [6.255435016547602]
  本稿では、トレーニング中の状態-動作ペアの安全性と安全性を区別する新しい技術であるADVICE(Adaptive Shielding with a Contrastive Autoencoder)を紹介する。 総合実験の結果,ADVICEはトレーニング中の安全違反(50%)を有意に低減し,他の手法と比較して競争力のある結果が得られた。
  論文  参考訳（メタデータ） (2024-05-28T13:47:21Z)
• Guided Online Distillation: Promoting Safe Reinforcement Learning by Offline Demonstration [75.51109230296568]
  オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。 オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。 GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
  論文  参考訳（メタデータ） (2023-09-18T00:22:59Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。