Fugu-MT 論文翻訳(概要): The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL

論文の概要: The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL

arxiv url: http://arxiv.org/abs/2602.07078v1
Date: Fri, 06 Feb 2026 03:16:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-10 20:26:24.427272
Title: The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL
Title（参考訳）: 最適トークンベースライン:LLM-RLの可変化
Authors: Yingru Li, Jiawei Xu, Ziniu Li, Jiacai Liu, Wei Liu, Yuxuan Tong, Longtao Zheng, Zhenghai Xue, Yaxiang Zhang, Tianle Cai, Ge Zhang, Qian Liu, Baoxiang Wang,
Abstract要約: 大規模言語モデルのための強化学習(LLMs)は、勾配のばらつきが爆発的に広がるため、長い水平タスクのトレーニング崩壊に悩まされることが多い。我々は、最適トークンベースライン(OTB)を第一原理から導出し、勾配更新が累積勾配ノルムに逆向きに重み付けされるべきであることを証明した。提案手法はトレーニングの安定性を達成し,N=32$の大規模グループサイズとの性能を一致させ,シングルターンおよびツール統合推論タスクにおけるトークン消費量を65%以上削減する。
参考スコア（独自算出の注目度）: 39.23942538769713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement Learning (RL) for Large Language Models (LLMs) often suffers from training collapse in long-horizon tasks due to exploding gradient variance. To mitigate this, a baseline is commonly introduced for advantage computation; however, traditional value models remain difficult to optimize, and standard group-based baselines overlook sequence heterogeneity. Although classic optimal baseline theory can achieve global variance reduction, it neglects token heterogeneity and requires prohibitive gradient-based computation. In this work, we derive the Optimal Token Baseline (OTB) from first principles, proving that gradient updates should be weighted inversely to their cumulative gradient norm. To ensure efficiency, we propose the Logit-Gradient Proxy that approximates the gradient norm using only forward-pass probabilities. Our method achieves training stability and matches the performance of large group sizes ($N=32$) with only $N=4$, reducing token consumption by over 65% across single-turn and tool-integrated reasoning tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)のための強化学習(RL)は、爆発的な勾配分散に起因する長期タスクのトレーニング崩壊に悩まされることが多い。これを緩和するために、ベースラインは利点のある計算のために一般的に導入されるが、従来の値モデルでは最適化が困難であり、標準的なグループベースのベースラインはシーケンスの不均一性を見越す。古典的最適ベースライン理論は、大域的な分散の低減を達成できるが、トークンの不均一性を無視し、禁止的な勾配に基づく計算を必要とする。本研究では、最適トークンベースライン(OTB)を第一原理から導出し、勾配更新が累積勾配ノルムに逆向きに重み付けされるべきであることを証明した。効率性を確保するために,フォワードパス確率のみを用いて勾配ノルムを近似するLogit-Gradient Proxyを提案する。本手法はトレーニング安定性を実現し,大規模なグループサイズ(N=32$)とN=4$(N=4$)との性能を一致させ,シングルターンおよびツール統合推論タスクにおけるトークン消費量を65%以上削減する。

論文の概要: The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL

関連論文リスト