Fugu-MT 論文翻訳(概要): Self-Guided Process Reward Optimization with Masked Step Advantage for Process Reinforcement Learning

論文の概要: Self-Guided Process Reward Optimization with Masked Step Advantage for Process Reinforcement Learning

arxiv url: http://arxiv.org/abs/2507.01551v1
Date: Wed, 02 Jul 2025 10:05:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-03 14:23:00.144823
Title: Self-Guided Process Reward Optimization with Masked Step Advantage for Process Reinforcement Learning
Title（参考訳）: Masked Step Advantage を用いた自己ガイド型プロセスリワード最適化によるプロセス強化学習
Authors: Wu Fei, Hao Kong, Shuxian Liang, Yang Lin, Yibo Yang, Jing Tang, Lei Chen, Xiansheng Hua,
Abstract要約: プロセス認識型RLを実現する新しいフレームワークである textbfSPRO を提案する。 SPROはバニラGRPOより3.4倍高い訓練効率と17.5%の精度で性能が向上した。特にSPROは、GRPOのような結果管理されたRL法と比較して、工業的実装に有利な計算オーバーヘッドを伴わない。
参考スコア（独自算出の注目度）: 48.426139299991604
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Process Reinforcement Learning~(PRL) has demonstrated considerable potential in enhancing the reasoning capabilities of Large Language Models~(LLMs). However, introducing additional process reward models incurs substantial computational overhead, and there is no unified theoretical framework for process-level advantage estimation. To bridge this gap, we propose \textbf{S}elf-Guided \textbf{P}rocess \textbf{R}eward \textbf{O}ptimization~(\textbf{SPRO}), a novel framework that enables process-aware RL through two key innovations: (1) we first theoretically demonstrate that process rewards can be derived intrinsically from the policy model itself, and (2) we introduce well-defined cumulative process rewards and \textbf{M}asked \textbf{S}tep \textbf{A}dvantage (\textbf{MSA}), which facilitates rigorous step-wise action advantage estimation within shared-prompt sampling groups. Our experimental results demonstrate that SPRO outperforms vaniila GRPO with 3.4x higher training efficiency and a 17.5\% test accuracy improvement. Furthermore, SPRO maintains a stable and elevated policy entropy throughout training while reducing the average response length by approximately $1/3$, evidencing sufficient exploration and prevention of reward hacking. Notably, SPRO incurs no additional computational overhead compared to outcome-supervised RL methods such as GRPO, which benefit industrial implementation.
Abstract（参考訳）: プロセス強化学習~(PRL)は、大規模言語モデル~(LLM)の推論能力を高める大きな可能性を証明している。しかし、追加のプロセス報酬モデルを導入すると、かなりの計算オーバーヘッドが発生し、プロセスレベルの優位性推定のための統一的な理論的枠組みは存在しない。このギャップを埋めるために、(1)プロセス報酬がポリシーモデル自体から本質的に導出可能であることを理論的に証明し、(2)よく定義された累積プロセス報酬と、(2) 定義された累積プロセス報酬と、(2) \textbf{S}aked \textbf{S}tep \textbf{A}dvantage (\textbf{MSA})を導入し、共有プロンプトグループ内での厳密なステップ的に有利な評価を容易にする。実験の結果,SPROはベニラGRPOより3.4倍高いトレーニング効率と17.5倍の精度で優れていた。さらに、SPROはトレーニングを通じて安定かつ高機能なポリシーエントロピーを維持しつつ、平均応答長を約1/3ドル削減し、十分な探索と報酬ハッキングの防止を実現している。特にSPROは、GRPOのような結果管理されたRL法と比較して、工業的実装に有利な計算オーバーヘッドを伴わない。

論文の概要: Self-Guided Process Reward Optimization with Masked Step Advantage for Process Reinforcement Learning

関連論文リスト