論文の概要: A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation

• arxiv url: http://arxiv.org/abs/2512.06547v1
• Date: Sat, 06 Dec 2025 19:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.402816
• Title: A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
• Title（参考訳）: A-3PO: 安定度を考慮した近似的ポリシー近似を用いた非同期LDM学習の高速化
• Authors: Xiaocan Li, Shiliang Wu, Zheng Shen,
• Abstract要約: 我々は、政治外の修正を規制政策更新から切り離すための近親政策を導入する。 このポリシーでは、トレーニングの各ステップでネットワークをさらに前方通過する必要があるため、計算ボトルネックが発生します。 我々は,親近性ポリシが行動と対象ポリシの間に固定された信頼領域としてのみ機能するため,明示的な計算をせずに簡単な方法で近似することができることを観察した。
• 参考スコア（独自算出の注目度）: 2.5291809836356998
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Decoupled loss has been a successful reinforcement learning (RL) algorithm to deal with the high data staleness under the asynchronous RL setting. Decoupled loss improves coupled-loss style of algorithms' (e.g., PPO, GRPO) learning stability by introducing a proximal policy to decouple the off-policy corrections (importance weight) from the controlling policy updates (trust region). However, the proximal policy requires an extra forward pass through the network at each training step, creating a computational bottleneck for large language models. We observe that since the proximal policy only serves as a trust region anchor between the behavior and target policies, we can approximate it through simple interpolation without explicit computation. We call this approach A-3PO (APproximated Proximal Policy Optimization). A-3PO eliminates this overhead, reducing training time by 18% while maintaining comparable performance. Code & off-the-shelf example are available at: https://github.com/inclusionAI/AReaL/blob/main/docs/algorithms/prox_approx.md
• Abstract（参考訳）: 疎結合損失は、非同期RL設定下での高データの安定化を扱うための強化学習(RL)アルゴリズムとして成功している。 分離損失は、制御ポリシ更新(トラスト領域)からオフポリシー修正(重要重量)を分離する近似ポリシーを導入することにより、アルゴリズムの結合ロススタイル(例えば、PPO、GRPO)の学習安定性を向上させる。 しかし、近近性ポリシーでは、トレーニングの各ステップでネットワークをさらに前方通過する必要があるため、大規模言語モデルの計算ボトルネックが生じる。 我々は,親近性ポリシが行動と対象ポリシの間には信頼領域としてのみ機能するため,明示的な計算をせずに単純な補間によって近似することができることを観察した。 A-3PO (APproximated Proximal Policy Optimization) と呼ぶ。 A-3POはこのオーバーヘッドを排除し、同等のパフォーマンスを維持しながらトレーニング時間を18%削減する。 https://github.com/inclusionAI/AReaL/blob/main/docs/algorithms/prox_approx.md

関連論文リスト

• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization [1.599072005190786]
  信頼地域政策最適化(Trust Region Policy Optimization, TRPO)は、強化学習における政策探索アルゴリズムである。 本研究では、リプレイバッファを用いて、政治以外の学習環境からTRPOに借用する。 TRPO において、時間ステップで蓄積される pi の利点を生かすためにエントロピー正則化項を付加する。
  論文  参考訳（メタデータ） (2021-10-26T03:04:00Z)
• Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm [16.115903198836694]
  既存のデータから最適な行動を学ぶことは、強化学習(RL)における最も重要な問題の1つである。 エージェントの目的は、与えられたポリシー(行動ポリシーとして知られる)から得られたデータに基づいて最適なポリシーを計算することである。 本研究は,非政治行動と自然政策勾配を扱うために状態-行動分布補正を利用する,非政治的自然なアクター-批判的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T14:36:45Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)
• Breaking the Deadly Triad with a Target Network [80.82586530205776]
  致命的な三脚とは、政治以外の学習、関数近似、ブートストラップを同時に使用するときの強化学習アルゴリズムの不安定性を指す。 我々は,二段階最適化を使わずに,非制限的かつ変化的な動作ポリシーの下で,最初の収束線形$Q$-learningアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-01-21T21:50:10Z)
• POPO: Pessimistic Offline Policy Optimization [6.122342691982727]
  オフポリシーRLメソッドが、バリュー関数ビューからオフライン設定で学習できない理由について検討する。 悲観的オフライン政策最適化(POPO)を提案する。これは悲観的価値関数を学習し、強い政策を得る。 POPOは驚くほどよく機能し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-12-26T06:24:34Z)
• Queueing Network Controls via Deep Reinforcement Learning [0.0]
  待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。 このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。 PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
  論文  参考訳（メタデータ） (2020-07-31T01:02:57Z)
• Mirror Descent Policy Optimization [41.46894905097985]
  MDPO (Em mirror descent Policy Optimization) と呼ばれる効率的なRLアルゴリズムを提案する。 MDPOは、信頼領域問題を概ね解決することで、ポリシーを反復的に更新する。 本稿では,オンラインMDPOと,TRPOとPPOという2つの一般的な信頼領域RLアルゴリズムの関連性を強調し,信頼領域制約を明示的に実施することは,TRPOの性能向上に必要ではないことを示す。
  論文  参考訳（メタデータ） (2020-05-20T01:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。