論文の概要: Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning

• arxiv url: http://arxiv.org/abs/2510.01656v1
• Date: Thu, 02 Oct 2025 04:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.987311
• Title: Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning
• Title（参考訳）: 非対称的近位政策最適化:LLM推論を最小限に推し進める
• Authors: Jiashun Liu, Johan Obando-Ceron, Han Lu, Yancheng He, Weixun Wang, Wenbo Su, Bo Zheng, Pablo Samuel Castro, Aaron Courville, Ling Pan,
• Abstract要約: Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
• 参考スコア（独自算出の注目度）: 49.57517969069136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most recent RL for LLMs (RL4LLM) methods avoid explicit critics, replacing them with average advantage baselines. This shift is largely pragmatic: conventional value functions are computationally expensive to train at LLM scale and often fail under sparse rewards and long reasoning horizons. We revisit this bottleneck from an architectural perspective and introduce Asymmetric Proximal Policy Optimization (AsyPPO), a simple and scalable framework that restores the critics role while remaining efficient in large-model settings. AsyPPO employs a set of lightweight mini-critics, each trained on disjoint prompt shards. This design encourages diversity while preserving calibration, reducing value-estimation bias. Beyond robust estimation, AsyPPO leverages inter-critic uncertainty to refine the policy update: (i) masking advantages in states where critics agree and gradients add little learning signal, and (ii) filtering high-divergence states from entropy regularization, suppressing spurious exploration. After training on open-source data with only 5,000 samples, AsyPPO consistently improves learning stability and performance across multiple benchmarks over strong baselines, such as GRPO, achieving performance gains of more than six percent on Qwen3-4b-Base and about three percent on Qwen3-8b-Base and Qwen3-14b-Base over classic PPO, without additional tricks. These results highlight the importance of architectural innovations for scalable, efficient algorithms.
• Abstract（参考訳）: 最近のRL for LLM(RL4LLM)メソッドは、明示的な批判を回避し、平均的なアドバンテージベースラインに置き換えている。 従来の値関数は、LLMスケールで訓練するのに計算コストがかかり、しばしば粗末な報酬と長い推論の地平の下で失敗する。 アーキテクチャの観点からこのボトルネックを再考し、大規模なモデル設定で効率を保ちながら批評家の役割を回復するシンプルでスケーラブルなフレームワークである非対称プロキシポリシー最適化(AsyPPO)を紹介します。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 この設計はキャリブレーションを維持しながら多様性を促進し、価値推定バイアスを低減する。 堅牢な見積もりの他に、AsyPPOは批判的不確実性を利用して政策更新を洗練します。 一 批評家が同意し、勾配に学習信号がほとんどない状態におけるマスキングの利点 (II)エントロピー正則化から高発散状態をフィルタリングし、急激な探査を抑える。 5,000のサンプルだけでオープンソースデータをトレーニングした後、AsyPPOはGRPOなどの強力なベースライン上での学習安定性とパフォーマンスを継続的に改善し、Qwen3-4b-Baseで6%以上、Qwen3-8b-BaseとQwen3-14b-Baseで30%以上のパフォーマンス向上を達成した。 これらの結果は、スケーラブルで効率的なアルゴリズムのためのアーキテクチャ革新の重要性を強調している。

関連論文リスト

• Single-stream Policy Optimization [21.214853668053234]
  SPO(Single-stream Policy Optimization)を導入する。 SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。 グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
  論文  参考訳（メタデータ） (2025-09-16T16:39:11Z)
• Succeed or Learn Slowly: Sample Efficient Off-Policy Reinforcement Learning for Mobile App Control [50.316067647636196]
  本稿では,モバイルアプリ制御タスクで評価された新規な非政治強化学習アルゴリズムであるSucceed or Learn Slowly (SoLS)を紹介する。 SoLSは、ユーザーインターフェースナビゲーションのための微調整基礎モデルにおいて、非政治的アクター-批判的アプローチを修正することで、サンプル効率を改善する。 我々は、成功した対話から学習を優先するSTR(Success Transition Replay)でSOLSを増強する。
  論文  参考訳（メタデータ） (2025-09-01T18:55:27Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。