論文の概要: FAST: A Framework for Aligned Sampling and Training in Parallel Reinforcement Learning for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2606.21587v1
- Date: Fri, 19 Jun 2026 16:44:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 12:36:58.905432
- Title: FAST: A Framework for Aligned Sampling and Training in Parallel Reinforcement Learning for Autonomous Driving
- Title（参考訳）: FAST: 自律運転のための並列強化学習における適応サンプリングとトレーニングのためのフレームワーク
- Authors: Bonan Wang, Letian Tao, Bin Shuai, Jiaxin Gao, Wenxin Zhao, Wei Xiong, Kehua Sheng, Bo Zhang, Yang Guan, Shengbo Eben Li,
- Abstract要約: クローズドループシミュレーションに適した同期並列フレームワークであるFASTを提案する。
FAST は、ベクトル化同期を維持するために Dynamic Parallel Sampling Alignment (DPSA) を使用している。
FASTは、シングルクリップベースライン上で少なくとも1.78倍のウォールクロックスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 27.76982216294607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning is pivotal for closed-loop autonomous driving yet remains constrained by severe bottlenecks in sampling efficiency. Standard parallel sampling mitigates this but suffers from the straggler effect, where the premature termination of a single environment necessitates a synchronized batch re-initialization, leading to suboptimal sample utilization and prohibitive re-initialization latency. To address this, we propose FAST, a synchronous parallel framework tailored for closed-loop simulation. Specifically, FAST employs Dynamic Parallel Sampling Alignment (DPSA) to maintain vectorization synchronization by extending terminated episodes via virtual continuation, thereby decoupling the sampling loop from individual terminations. By dynamically triggering global truncation based on the termination rate of parallel clips, FAST effectively eliminates the bottleneck of premature resets without sacrificing data diversity. Furthermore, to strictly preserve theoretical consistency, we incorporate a Scaled Mask-Padding Optimization (SMPO) that leverages validity masking and adaptive loss normalization to nullify the bias from auxiliary padding data. Empirical evaluations demonstrate that FAST achieves at least a 1.78 times wall-clock speedup over the single-clip baseline while preserving statistical unbiasedness.
- Abstract（参考訳）: 深い強化学習は、クローズドループ自動運転にとって重要な要素であるが、サンプリング効率の深刻なボトルネックによって制約されている。
標準並列サンプリングは、これを緩和するが、単一環境の早期終了が同期化されたバッチ再初期化を必要とするストラグラー効果に悩まされる。
そこで本研究では,クローズドループシミュレーションに適した同期並列フレームワークであるFASTを提案する。
具体的には、動的並列サンプリングアライメント(DPSA)を用いて、仮想継続を通じて終端エピソードを拡張してベクトル化同期を維持することにより、サンプリングループを個別の項から分離する。
並列クリップの終了率に基づいてグローバルトランケーションを動的にトリガーすることにより、FASTはデータの多様性を犠牲にすることなく、早期リセットのボトルネックを効果的に排除する。
さらに、理論的一貫性を厳密に保ちつつ、妥当性マスキングと適応損失正規化を利用して補助パッドデータからバイアスを無効化するスケールドマスク・パディング最適化(SMPO)を導入する。
実証的な評価では、FASTは統計的不偏性を維持しながら、単一クリップベースライン上で少なくとも1.78倍のウォールタイムのスピードアップを達成している。
関連論文リスト
- Breaking the Bubble: Asynchronous Pipeline Parallel Training with Bounded Weight Inconsistency [5.093144724934585]
PACIは、重み付け、予測、追加パラメータコピー、グローバル同期なしに前方/後方バージョンドリフトをバウンドする、バブルフリーパイプライン方式である。
GPTスタイルの言語モデル事前トレーニングでは、PACIは同期1F1B-flushの安定性と最終的なパープレクシリティにマッチし、同じピークメモリフットプリントを保持し、完全なパイプラインスループットを実現する。
これらの結果は、前方/後方の不整合を排除してはいけないことを示しており、明示的に拘束された場合、実質的な効率向上のために安全に取引することができる。
論文 参考訳（メタデータ） (2026-06-05T22:33:57Z) - Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum [16.032739611868685]
非同期分散勾配トレーニング(SGD)は、スケーラブルな分散トレーニングを可能にするが、安定性に悩まされる。
遅延依存学習率や安定度認識トレーニングといった既存の緩和戦略は、通常遅延勾配を廃止または廃止する。
本稿では,安定度を緩和しながら遅延勾配から情報を保存するために,モーメントに基づく非同期フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-03T20:24:24Z) - CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning [15.930478833291827]
バックプロパゲーションを備えた微調整の大型言語モデル(LLM)は高い性能を実現するが、かなりのメモリオーバーヘッドを引き起こす。
本稿では、スカラーZOフィードバックからオンラインの曲率信号を追跡するCurvZOを提案する。
CurvZOは微調整性能を継続的に改善し,ZOベースラインでのトレーニング時間を短縮することを示す。
論文 参考訳（メタデータ） (2026-03-23T09:13:45Z) - Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation [6.710608163117798]
非同期パイプライン並列処理は、同期実行に固有のパイプラインバブルを排除し、ハードウェア利用を最大化する。
この効率向上は勾配安定度によって損なわれ、遅延勾配による即時モデル更新は最適化プロセスにノイズをもたらす。
本稿では,アライメント問題を効果的に緩和し,非同期設定における収束を著しく促進することを示す,ベースローテーションの利用を提案する。
論文 参考訳（メタデータ） (2026-02-03T13:31:51Z) - Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。
我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
論文 参考訳（メタデータ） (2025-09-26T19:19:15Z) - ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。
統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。
ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2025-09-18T16:55:09Z) - Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:59:18Z) - Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。
具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。
我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文 参考訳（メタデータ） (2025-05-02T08:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。