論文の概要: Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling

• arxiv url: http://arxiv.org/abs/2605.21557v1
• Date: Wed, 20 May 2026 13:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.939045
• Title: Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling
• Title（参考訳）: 適応バッチスケーリングによるスケーラブルなオンライン強化学習
• Authors: Jongchan Park,
• Abstract要約: 従来の知恵では、大規模バッチトレーニングは強化学習(RL)と根本的に相容れない。 本稿では,学習方針の安定性に応じて効果的なバッチサイズを調整する適応バッチスケーリング(ABS)を提案する。 ABSの中心は、連続した更新の間のアクションレベルシフトを測定することで、政策非定常性を定量化する、行動偏差である。
• 参考スコア（独自算出の注目度）: 2.6651200086513094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional wisdom holds that large-batch training is fundamentally incompatible with Reinforcement Learning (RL) - beyond a modest threshold, increasing batch sizes typically yields diminishing returns or performance degradation due to the inherent non-stationarity of the data distribution. We challenge this view by observing that non-stationarity is not a fixed property of RL, but evolves throughout training: early stages exhibit rapid behavioral shifts that demand small batches for plasticity, whereas late stages approach a quasi-stationary regime where large batches enable precise convergence. Motivated by this observation, we propose Adaptive Batch Scaling (ABS), that dynamically adjusts the effective batch size according to the stability of the learning policy. Central to ABS is Behavioral Divergence, a novel metric that quantifies policy non-stationarity by measuring action-level shifts between consecutive updates, which we use to scale batch size inversely to policy volatility. Integrated with the Parallelised Q-Network (PQN) algorithm and evaluated on the ALE benchmark, ABS seamlessly reconciles early-stage plasticity with late-stage stable convergence. Strikingly, contrary to conventional wisdom, our results reveal that the combination of larger networks and larger batch sizes achieves the best performance - a scaling behavior previously thought to be unattainable in RL, now unlocked through adaptive batch control.
• Abstract（参考訳）: 従来の知恵では、大規模なバッチトレーニングは、基本的には強化学習(RL)とは相容れない。 我々は、非定常性はRLの固定的な性質ではなく、訓練を通じて進化していくことを観察することによって、この見解に挑戦する: 初期段階は、塑性のために小さなバッチを必要とする急激な行動シフトを示し、後期段階は、大きなバッチが正確な収束を可能にする準定常状態に近づく。 本研究では, 適応バッチスケーリング(ABS)を提案し, 学習方針の安定性に応じて, 有効バッチサイズを動的に調整する。 ABSの中心となるのは行動偏差(Behavimental Divergence)です。これは、連続更新間のアクションレベルシフトを測定することで、ポリシーの非定常性を定量化する新しいメトリクスで、政策のボラティリティに逆向きにバッチサイズをスケールするために使用します。 Parallelized Q-Network (PQN)アルゴリズムと統合され、ALEベンチマークで評価され、ABSは早期の可塑性と後期の安定収束をシームレスに調整する。 厳密には、従来の知恵とは対照的に、我々の結果は、より大きなネットワークとより大きなバッチサイズの組み合わせは、これまでRLでは達成不可能と考えられていたスケーリング動作が、適応的なバッチ制御によってアンロックされる、最高のパフォーマンスを実現することを明らかにしている。

関連論文リスト

• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Deep Reinforcement Learning Optimization for Uncertain Nonlinear Systems via Event-Triggered Robust Adaptive Dynamic Programming [0.3848364262836075]
  本研究では,Reinforcement Learning(RL)駆動のコントローラと外乱回避型拡張状態オブザーバ(ESO)を結合した統合制御アーキテクチャを提案する。 ESOは、システム状態とラップされた乱をリアルタイムで推定するために利用され、効果的な乱れ補償の基礎となる。
  論文  参考訳（メタデータ） (2025-12-05T22:52:22Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• RL-DAUNCE: Reinforcement Learning-Driven Data Assimilation with Uncertainty-Aware Constrained Ensembles [1.609702184777697]
  RL-DAUNCEは,物理制約によるデータ同化を向上する新しいRL-DAUNCE法である。 まず、RL-DAUNCEは機械学習の計算効率を継承する。 第2に、RL-DAUNCEは複数のアンサンブルメンバーを前進させることによって不確実性を強調する。 第3に、RL-DAUNCEのアンサンブル・アズ・エージェントの設計は、物理的な制約の実施を促進する。
  論文  参考訳（メタデータ） (2025-05-08T17:43:35Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。