論文の概要: Reward-Safety Balance in Offline Safe RL via Diffusion Regularization

• arxiv url: http://arxiv.org/abs/2502.12391v1
• Date: Tue, 18 Feb 2025 00:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:28.095602
• Title: Reward-Safety Balance in Offline Safe RL via Diffusion Regularization
• Title（参考訳）: 拡散規則化によるオフライン安全RLの逆方向安全バランス
• Authors: Junyu Guo, Zhi Zheng, Donghao Ying, Ming Jin, Shangding Gu, Costas Spanos, Javad Lavaei,
• Abstract要約: 制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。 DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
• 参考スコア（独自算出の注目度）: 16.5825143820431
• License:
• Abstract: Constrained reinforcement learning (RL) seeks high-performance policies under safety constraints. We focus on an offline setting where the agent has only a fixed dataset -- common in realistic tasks to prevent unsafe exploration. To address this, we propose Diffusion-Regularized Constrained Offline Reinforcement Learning (DRCORL), which first uses a diffusion model to capture the behavioral policy from offline data and then extracts a simplified policy to enable efficient inference. We further apply gradient manipulation for safety adaptation, balancing the reward objective and constraint satisfaction. This approach leverages high-quality offline data while incorporating safety requirements. Empirical results show that DRCORL achieves reliable safety performance, fast inference, and strong reward outcomes across robot learning tasks. Compared to existing safe offline RL methods, it consistently meets cost limits and performs well with the same hyperparameters, indicating practical applicability in real-world scenarios.
• Abstract（参考訳）: 制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。 私たちは、エージェントが固定されたデータセットしか持たないオフライン設定に注力します。 そこで本研究では、まず拡散モデルを用いてオフラインデータから行動ポリシーを抽出し、効率的な推論を可能にするための簡易なポリシーを抽出する拡散規則制約付きオフライン強化学習(DRCORL)を提案する。 さらに、報酬目標と制約満足度をバランスさせて、安全適応のための勾配操作を適用する。 このアプローチでは、安全要件を取り入れながら高品質なオフラインデータを活用する。 実験結果から,DRCORLはロボット学習作業において,信頼性の高い安全性能,高速推論,強力な報奨を達成できることが示唆された。 既存の安全なオフラインRL手法と比較して、コスト制限を一貫して満たし、同じハイパーパラメータでうまく機能し、現実のシナリオで実用的な適用性を示している。

関連論文リスト

• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning [30.540598779743455]
  オフライン安全な強化学習(RL)は、事前コンパイルされたデータセットを使用して制約を満たすポリシーをトレーニングすることを目的としている。 本稿では、これらの限界を克服するために、オフラインセーフなRLに新たなパラダイムを導入する。 提案手法は,効率的なデータ利用と正規化手法により,安全制約を遵守する。
  論文  参考訳（メタデータ） (2024-07-19T20:15:00Z)
• FOSP: Fine-tuning Offline Safe Policy through World Models [3.7971075341023526]
  モデルに基づく強化学習(RL)は、高次元タスクを扱う訓練効率と能力を示した。 しかしながら、以前の作業は、実際のデプロイメントにおけるオンライン探索のために、依然として安全上の課題を生じさせている。 本稿では、オフラインで訓練されたポリシーを微調整することで、視覚に基づくロボットタスクの展開段階における安全性をさらに向上することを目的とする。
  論文  参考訳（メタデータ） (2024-07-06T03:22:57Z)
• Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion Model [23.93820548551533]
  FISOR(FeasIbility-guided Safe Offline RL)を提案する。 FISORでは、変換された最適化問題に対する最適ポリシーは、重み付けされた行動クローニングの特別な形態で導出することができる。 FISORは、ほとんどのタスクにおいて最上位のリターンを達成しつつ、すべてのタスクにおいて安全満足を保証できる唯一の方法であることを示す。
  論文  参考訳（メタデータ） (2024-01-19T14:05:09Z)
• Guided Online Distillation: Promoting Safe Reinforcement Learning by Offline Demonstration [75.51109230296568]
  オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。 オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。 GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
  論文  参考訳（メタデータ） (2023-09-18T00:22:59Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• SaFormer: A Conditional Sequence Modeling Approach to Offline Safe Reinforcement Learning [64.33956692265419]
  オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。 そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:57:01Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Constraints Penalized Q-Learning for Safe Offline Reinforcement Learning [15.841609263723575]
  安全オフライン強化学習(RL)の問題点について検討する。 目標は、オフラインデータのみに与えられる安全制約を満たしつつ、環境とのさらなる相互作用を伴わずに、長期的な報酬を最大化する政策を学習することである。 安全なRLとオフラインのRLの手法を組み合わせれば、準最適解しか学習できないことを示す。
  論文  参考訳（メタデータ） (2021-07-19T16:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。