論文の概要: WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation

• arxiv url: http://arxiv.org/abs/2608.24479v1
• Date: Tue, 25 Aug 2026 12:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.966283
• Title: WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation
• Title（参考訳）: WarpSAC:探索と爆発を再考したスケーラブルオフポリチックRLのピンナクルを目指して
• Abstract要約: 大規模並列シミュレーションは、非政治強化学習を訓練するデータ体制を変える。 これらの安定化器はデータ登録に依存していることを示す。 我々は、政治外RLアルゴリズムのレシシック対応ファミリーであるWarpSACを提案する。
• 参考スコア（独自算出の注目度）: 67.83495924117089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Massively parallel simulation changes the data regime in which off-policy reinforcement learning (RL) is trained, challenging stabilizers designed for data-limited replay. Through controlled experiments across eight benchmark families, we show that these stabilizers are data-regime-dependent: parameter normalization helps with narrow replay coverage but restricts value fitting when data are abundant, while clipped double-Q can be relaxed in high-throughput manipulation. Age-biased replay weighting improves learning efficiency across regimes, especially with limited network capacity. Based on these findings, we propose WarpSAC, a regime-aware family of off-policy RL algorithms. WarpSAC uses Sample Weight Decay for efficient exploitation and provides two variants: WarpSAC-L (Norm ON, clipped double-Q) for data-limited CPU-scale training, and WarpSAC-A (Norm OFF, single-Q) for data-abundant GPU-parallel training. WarpSAC improves normalized score--step AUC over FlashSAC by 4.5% across nine CPU-scale environments and 23.1% across fourteen GPU-parallel environments. It increases UnitreeG1TransportBox-v1 success rate from 19.8% to 96.4%, improves mean normalized wall-time AUC on MuJoCo Playground by 19.1%, and achieves 36.4% faster sim-to-real deployment on Unitree G1 than FlashSAC. These results show that scalable off-policy RL should adapt its stabilizers to the available data regime.
• Abstract（参考訳）: 大規模並列シミュレーションは、非政治強化学習(RL)を訓練するデータ体制を変え、データ制限リプレイ用に設計された安定器に挑戦する。 パラメータ正規化はリプレイ範囲を狭くするが、データが豊富であれば値の適合を制限するが、クリップされたダブルQは高スループット操作で緩和できる。 年齢バイアスによるリプレイ重み付けは、特にネットワーク容量の制限により、レギュラー間の学習効率を向上させる。 これらの知見に基づき、政治外RLアルゴリズムのレシシック対応ファミリーであるWarpSACを提案する。 WarpSACは効率的な利用のためにSample Weight Decayを使用しており、データ制限されたCPUスケールのトレーニングにWarmSAC-L(Norm ON、クリップされたダブルQ)、データ境界のGPU並列トレーニングにWarmSAC-A(Norm OFF、シングルQ)の2つのバリエーションを提供している。 WarpSACは、9つのCPUスケール環境でAUCを4.5%、14のGPU並列環境で23.1%改善する。 UnitreeG1TransportBox-v1の成功率は19.8%から96.4%に向上し、MuJoCo PlaygroundのウォールタイムAUCを19.1%改善し、FlashSACよりも36.4%高速化した。 これらの結果から,スケーラブルなオフポリティクスRLはその安定化器を利用可能なデータ構造に適応させることが示唆された。

関連論文リスト

• FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control [55.38832429564216]
  強化学習(Reinforcement Learning, RL)は、専門家によるデモンストレーションが利用できない場合のロボット制御における中核的なアプローチである。 我々は,Soft Actor-Critic上に構築された高速で安定なオフポリチィRLアルゴリズムであるFlashSACを提案する。 10のシミュレータで60以上のタスクをこなし、FlashSACは最終的なパフォーマンスとトレーニング効率の両方において、PPOと強力なオフポリシーベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-06T09:03:41Z)
• Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes [22.721425502443253]
  我々はPrefixRLを導入し、そこでは、成功裏のトレースのプレフィックスを条件にし、それらを完了させるために、オンデマンドのRLを実行します。 PrefixRLは、問題の難易度を政治外接頭辞の長さで調節することで、難しい問題に対する学習信号を強化する。 我々はPrefixRLの目的が標準RLの目的と一致しているだけでなく、より効率的なことを証明する。
  論文  参考訳（メタデータ） (2026-01-26T18:57:00Z)
• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• A Plug-and-Play Fully On-the-Job Real-Time Reinforcement Learning Algorithm for a Direct-Drive Tandem-Wing Experiment Platforms Under Multiple Random Operating Conditions [0.0]
  Concerto Reinforcement Learning Extension (CRL2E)アルゴリズムが開発された。 このプラグ・アンド・プレイのリアルタイム強化学習アルゴリズムは、新しい物理インスパイアされたルールベースのポリシー構成戦略を取り入れている。 ハードウェアテストでは、最適化された軽量ネットワーク構造が、リアルタイムの制御要件を満たす、重み付けと平均推論時間に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-21T00:59:50Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。