論文の概要: FastDSAC: Enhancing Policy Plasticity via Constrained Exploration for Scalable Humanoid Locomotion

• arxiv url: http://arxiv.org/abs/2606.31691v1
• Date: Tue, 30 Jun 2026 14:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.245024
• Title: FastDSAC: Enhancing Policy Plasticity via Constrained Exploration for Scalable Humanoid Locomotion
• Title（参考訳）: FastDSAC: スケーラブルなヒューマノイドロコモーションのための制約付き探索によるポリシーの塑性向上
• Abstract要約: FastDSACは並列サンプリングシナリオのための分散アクター・クライブアルゴリズムの高速かつ高性能な変種である。 我々は、FastDSACがトレーニングプロセス全体を安定化し、最先端のベースラインに比べて優れた性能と高速な収束を実現することを示す。
• 参考スコア（独自算出の注目度）: 19.265864503552123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scalable reinforcement learning has popularized high-throughput sampling architectures, which significantly compresses the training time for off-policy methods in robotic locomotion. However, the rapid increase of data volume and update frequency undermines the stability of value-based methods and diminishes the plasticity of policy networks. To address these challenges, this work presents FastDSAC, a fast and high-performance variant of the Distributional Actor-Critic algorithm designed for parallel sampling scenarios. Specifically, we introduce a truncated Gaussian distribution to approximate the learned policy, which effectively excludes out-of-distribution actions that strain target value estimation while keeping necessary stochasticity for exploration. The proposed action constraint functions as an implicit regularization, which counteracts the plasticity loss typically caused by aggressive gradient updates. This preservation of network adaptability enhances sample efficiency, particularly in scenarios with a high update-to-data ratio, and accelerates the early training process. In contrast to prior fast reinforcement learning approaches that rely on discrete value distributions, our method utilizes a continuous Gaussian representation equipped with adaptive variance regulation, which improves value estimation accuracy by sampling confident and informative transitions. Extensive experiments on MuJoCo Playground and HumanoidBench demonstrate that FastDSAC not only stabilizes the overall training process but also achieves superior asymptotic performance and faster convergence compared to state-of-the-art baselines.
• Abstract（参考訳）: スケーラブルな強化学習は高スループットサンプリングアーキテクチャを普及させ、ロボットの移動における非政治手法のトレーニング時間を大幅に圧縮した。 しかし,データ量と更新頻度の急激な増加は,値ベースの手法の安定性を損なうとともに,ポリシーネットワークの可塑性を低下させる。 これらの課題に対処するために、並列サンプリングシナリオ用に設計された分散アクタ・クライブアルゴリズムの高速かつ高性能な変形であるFastDSACを提案する。 具体的には,探索に必要な確率性を維持しつつ,目標値の推定を歪ませる分布外作用を効果的に排除し,学習方針を近似するために,散在したガウス分布を導入する。 提案した動作制約は暗黙の規則化として機能し、攻撃的な勾配更新によって引き起こされる可塑性損失に対処する。 このネットワーク適応性の保存は、特にデータ更新率の高いシナリオにおいて、サンプリング効率を高め、早期トレーニングプロセスを加速させる。 離散値分布に依存する事前の高速強化学習手法とは対照的に,適応的分散制御を備えた連続ガウス表現を用いて,自信と情報的遷移をサンプリングすることで,評価精度を向上させる。 MuJoCo PlaygroundとHumanoidBenchの大規模な実験では、FastDSACは全体的なトレーニングプロセスを安定化するだけでなく、最先端のベースラインよりも優れた漸近的パフォーマンスと高速な収束を実現している。

関連論文リスト

• Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling [2.6651200086513094]
  従来の知恵では、大規模バッチトレーニングは強化学習(RL)と根本的に相容れない。 本稿では,学習方針の安定性に応じて効果的なバッチサイズを調整する適応バッチスケーリング(ABS)を提案する。 ABSの中心は、連続した更新の間のアクションレベルシフトを測定することで、政策非定常性を定量化する、行動偏差である。
  論文  参考訳（メタデータ） (2026-05-20T13:46:22Z)
• Actor-Critic with Active Importance Sampling [61.41272490044518]
  本稿では,Active-Importance-Sampling Actor-Critic (AISAC)アルゴリズムを提案する。 AISACはActor-Criticフレームワークの拡張であり、ポリシー勾配推定のばらつきを低減する。 実験では、標準的なアクター・クライブ法と比較して学習速度、サンプル効率、トレーニングが改善された。
  論文  参考訳（メタデータ） (2026-05-08T01:21:32Z)
• FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control [55.38832429564216]
  強化学習(Reinforcement Learning, RL)は、専門家によるデモンストレーションが利用できない場合のロボット制御における中核的なアプローチである。 我々は,Soft Actor-Critic上に構築された高速で安定なオフポリチィRLアルゴリズムであるFlashSACを提案する。 10のシミュレータで60以上のタスクをこなし、FlashSACは最終的なパフォーマンスとトレーニング効率の両方において、PPOと強力なオフポリシーベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-06T09:03:41Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push [24.62800551742178]
  本稿では分散誘導勾配プッシュによる適応微分プライバシーを用いた分散学習という新しい手法を提案する。 この方法は、段階的に遅延するスケジュールを用いて、ノイズ分散と学習率の両方を動的に調整する。 ADP-VRSGPは、適切な学習速度で堅牢な収束を実現し、トレーニングの安定性と速度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-23T03:14:59Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Fast and Stable Diffusion Planning through Variational Adaptive Weighting [3.745003761050674]
  拡散モデルは、最近オフラインRLで有望であることが示されている。 これらの手法は、しばしば高い訓練コストと緩やかな収束に悩まされる。 本稿では,フローベース生成モデルに基づくオンライン推定のためのクローズドフォーム近似手法を提案する。 Maze2D タスクと Kitchen タスクの実験結果から,本手法は最大10倍のトレーニングステップで競争性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-06-20T02:12:04Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。