論文の概要: Truncated Proximal Policy Optimization

• arxiv url: http://arxiv.org/abs/2506.15050v1
• Date: Wed, 18 Jun 2025 01:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.515963
• Title: Truncated Proximal Policy Optimization
• Title（参考訳）: Trncated Proximal Policy Optimization
• Authors: Tiantian Fan, Lingjun Liu, Yu Yue, Jiaze Chen, Chengyi Wang, Qiying Yu, Chi Zhang, Zhiqi Lin, Ruofei Zhu, Yufeng Yuan, Xiaochen Zuo, Bole Ma, Mofan Zhang, Gaohong Liu, Ru Zhang, Haotian Zhou, Cong Xie, Ruidong Zhu, Zhi Zhang, Xin Liu, Mingxuan Wang, Lin Yan, Yonghui Wu,
• Abstract要約: Truncated Proximal Policy Optimization (T-PPO)は、ポリシー更新と長さ制限された応答生成を合理化することで、トレーニング効率を向上させる。 不完全な応答から導かれる利点推定のための拡張一般化アドバンテージ推定(EGAE)を提案する。 我々は,32Bベースモデルを用いたAIME 2024におけるT-PPOの有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 43.965892659920364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, test-time scaling Large Language Models (LLMs) have demonstrated exceptional reasoning capabilities across scientific and professional tasks by generating long chains-of-thought (CoT). As a crucial component for developing these reasoning models, reinforcement learning (RL), exemplified by Proximal Policy Optimization (PPO) and its variants, allows models to learn through trial and error. However, PPO can be time-consuming due to its inherent on-policy nature, which is further exacerbated by increasing response lengths. In this work, we propose Truncated Proximal Policy Optimization (T-PPO), a novel extension to PPO that improves training efficiency by streamlining policy update and length-restricted response generation. T-PPO mitigates the issue of low hardware utilization, an inherent drawback of fully synchronized long-generation procedures, where resources often sit idle during the waiting periods for complete rollouts. Our contributions are two-folds. First, we propose Extended Generalized Advantage Estimation (EGAE) for advantage estimation derived from incomplete responses while maintaining the integrity of policy learning. Second, we devise a computationally optimized mechanism that allows for the independent optimization of the policy and value models. By selectively filtering prompt and truncated tokens, this mechanism reduces redundant computations and accelerates the training process without sacrificing convergence performance. We demonstrate the effectiveness and efficacy of T-PPO on AIME 2024 with a 32B base model. The experimental results show that T-PPO improves the training efficiency of reasoning LLMs by up to 2.5x and outperforms its existing competitors.
• Abstract（参考訳）: 近年、Large Language Models (LLMs) は、長いチェーン・オブ・シント(CoT)を生成することによって、科学的および専門的なタスクにまたがる例外的な推論能力を実証している。 これらの推論モデルを開発する上で重要な要素として、PPO(Proximal Policy Optimization)とその変種によって実証された強化学習(RL)は、試行錯誤を通じてモデルを学習することを可能にする。 しかしながら、PPOは、応答長の増大によりさらに悪化する、本質的には政治上の性質のため、時間を要する可能性がある。 本研究では,PPOの新たな拡張であるTrncated Proximal Policy Optimization (T-PPO)を提案する。 T-PPOは、完全に同期された長寿命プロシージャの固有の欠点である低ハードウェア利用の問題を軽減する。 私たちの貢献は2倍です。 まず、政策学習の整合性を維持しつつ、不完全な応答から導かれる利点推定のための拡張一般化アドバンテージ推定(EGAE)を提案する。 第2に、ポリシーと価値モデルの独立最適化を可能にする計算最適化機構を考案する。 この機構は、プロンプトとトランケートされたトークンを選択的にフィルタリングすることにより、冗長な計算を減らし、収束性能を犠牲にすることなくトレーニングプロセスを高速化する。 我々は,32Bベースモデルを用いたAIME 2024におけるT-PPOの有効性と有効性を示した。 実験の結果, T-PPO は LLM の推理の訓練効率を最大2.5倍に向上し, 既存の競争相手よりも優れていた。

関連論文リスト

• On-Policy RL with Optimal Reward Baseline [109.47676554514193]
  On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。 OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。 その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
  論文  参考訳（メタデータ） (2025-05-29T15:58:04Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models [68.26281707780761]
  本稿では、推論モデルの学習を高速化するために、CPPO(Completion Pruning Policy Optimization)を提案する。 CPPOはGSM8Kで最大8.32タイム、Mathで3.51タイム、オリジナルのGRPOと比較して精度を保ったり、向上させたりすることができる。
  論文  参考訳（メタデータ） (2025-03-28T11:30:05Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。