論文の概要: Accelerating Safe Reinforcement Learning with Massive Parallelism

• arxiv url: http://arxiv.org/abs/2611.08273v1
• Date: Thu, 05 Nov 2026 16:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.582781
• Title: Accelerating Safe Reinforcement Learning with Massive Parallelism
• Title（参考訳）: 大規模並列学習による安全強化学習の促進
• Abstract要約: 安全な強化学習(安全RL)を大規模並列訓練体制に展開する上での課題について検討する。 このミスマッチは、短い軌道セグメント上での位相混合分布としてステージ化された環境リセットを解析することによって解決される。 MJXをベースとしたSafety Gymを用いた実験により,壁面のトレーニング時間を著しく短縮しつつ,非並列化に匹敵する性能を実現することができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the problem of scaling safe reinforcement learning (safe RL) to massively parallel training regimes, where a large number of environments are exe- cuted with short rollout horizons. Although this setting improves data throughput and wall-clock efficiency, it creates a mismatch with constrained Markov decision processes (CMDPs), whose safety constraints are defined over full-episode cost returns. We address this mismatch by analyzing staggered environment resets as a phase-mixture distribution over short trajectory segments. This analysis charac- terizes the bias induced by phase coverage and motivates a phase-aggregated cost estimator that reconstructs episode-level cost estimates from short rollout batches. We further incorporate finite-sample uncertainty and distribution mismatch into a constraint-tightening framework, yielding a scalable Safe RL method compatible with on-policy optimization. Using an MJX-based implementation of Safety Gym, our experiments show that the proposed method achieves performance comparable to non-massively parallel implementations while substantially reducing wall-clock training time.
• Abstract（参考訳）: 安全な強化学習(安全RL)を大規模並列訓練体制に展開する上での課題について検討する。 この設定は、データのスループットとウォールクロック効率を改善するが、全エピソードのコストリターンに対して安全性の制約が定義される制約付きマルコフ決定プロセス(CMDP)とのミスマッチを生成する。 このミスマッチは、短い軌道セグメント上での位相混合分布としてステージ化された環境リセットを解析することによって解決される。 この分析は、位相カバレッジによるバイアスを減らし、短いロールアウトバッチからエピソードレベルのコスト見積を再構成する位相集約コスト推定器を動機付ける。 さらに,有限サンプルの不確実性と分布ミスマッチを制約重み付けフレームワークに組み込むことで,オンデマンド最適化と互換性のあるスケーラブルなSafe RL手法を実現する。 MJXをベースとしたSafety Gymを用いた実験により,壁面のトレーニング時間を著しく短縮しつつ,非並列化に匹敵する性能を実現することができた。

関連論文リスト

• On the Accuracy of Approximate Leave-One-Out with Blockwise Nonsmooth Regularization in High-dimensions [66.35062523888662]
  Approximate leave-out (ALO) は、計算効率のよい計算手法である。 本研究では,ALO法を用いて,高次元比例規則におけるブロック間隔を助長する広範囲な非微分性刑罰の精度について検討した。
  論文  参考訳（メタデータ） (2026-10-20T02:18:31Z)
• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。