論文の概要: BoT-GRPO: Efficient Process-Reward RL for Reasoning via Bag-of-Token Aggregation

• arxiv url: http://arxiv.org/abs/2610.09804v1
• Date: Wed, 07 Oct 2026 10:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.854959
• Title: BoT-GRPO: Efficient Process-Reward RL for Reasoning via Bag-of-Token Aggregation
• Title（参考訳）: BoT-GRPO:Bag-of-Tokenアグリゲーションによる推論のための効率的なプロセス逆RL
• Abstract要約: Bag-of-Tokens Group Relative Policy Optimizationは、ロールアウトを通じてトークンレベルの報酬をすべて収集する。 Reactのフロントエンドコード生成では、BoT-GRPOは、GRPOよりも80%$コンパイルレートが1.9times$高速になる。 2つ目のタスクである AIME の数学的推論では、BoT-GRPO は絶対的な Pass@$k$ のゲインを GRPO の半分のステップで最大 8.1% で提供する。
• 参考スコア（独自算出の注目度）: 1.5238239394555146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning is now central to eliciting reasoning in large language models, while in the popular algorithm Group Relative Policy Optimization (GRPO) every token in a rollout receives the same advantage. We ask how to make process supervision efficient: accelerating convergence and improving final quality without the cost of value networks. We propose Bag-of-Tokens Group Relative Policy Optimization (BoT-GRPO), which extends GRPO to token-level reward models through a length-invariant "bag of tokens" aggregation: it collects all token-level rewards across rollouts, weights each by the inverse of its source sequence length, and computes per-token advantages relative to weighted group statistics. BoT-GRPO is critic-free, and is a drop-in replacement wherever GRPO is used when token-level reward is available. On React front-end code generation, BoT-GRPO reaches $80\%$ compile rate up to $1.9\times$ faster than GRPO and converges faster than modern GRPO variants (GSPO, DAPO, PURE) while reaching higher final compile and VLM-judged win rates. On a second task, AIME mathematical reasoning, BoT-GRPO delivers absolute Pass@$k$ gains up to $8.1\%$ over GRPO in half the steps. For both tasks we compare the algorithm's performance on reasoning vs. non-reasoning base-model families (Qwen2.5-3B, SmolLM3-3B, Phi-4-mini-reasoning). Our experiments also yield a practical recipe for the reward model itself: reward stability matters more than richness: clean, bounded, stable fine-grained signals consistently accelerate learning where noisier alternatives stall.
• Abstract（参考訳）: 強化学習は、大規模言語モデルにおける推論の引き起こしの中心であり、一般的なアルゴリズムであるグループ相対ポリシー最適化(GRPO)では、ロールアウトにおける全てのトークンが、同じ利点を享受している。 コンバージェンスを加速し、価値ネットワークのコストを伴わずに最終品質を改善する。 本稿では,GRPOをトークンレベルの報酬モデルに拡張したBag-of-Tokens Group Relative Policy Optimization (BoT-GRPO)を提案する。 BoT-GRPOは無批判で、トークンレベルの報酬が利用できる場合にGRPOを使用する場合は、ドロップインで置き換える。 Reactのフロントエンドコード生成では、BoT-GRPOは、コンパイルレートが80\%に達し、GRPOよりも1.9\timesが高速になり、最新のGRPO(GSPO、DAPO、PURE)よりも高速に収束する。 2つ目のタスクである AIME の数学的推論では、BoT-GRPO は絶対的な Pass@$k$ のゲインを GRPO の半分のステップで最大 8.1\% まで提供する。 どちらのタスクでも、推論におけるアルゴリズムのパフォーマンスと非推論ベースモデルファミリ(Qwen2.5-3B、SmolLM3-3B、Phi-4-mini-reasoning)を比較します。 報酬の安定性は、より豊かさよりも重要である: 清潔で、有界で、安定したきめ細かい信号は、ノイズの多い代替品が行き詰まる学習を継続的に加速する。

関連論文リスト

• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Self-Hinting Language Models Enhance Reinforcement Learning [37.311361929798714]
  我々は、権限付き監督(SAGE)を備えた自己隠れ型GRPOを提案する。 SAGEはトレーニング中に特権付きヒントを注入し、同じ端末検証者報酬の下でロールアウト分布を再生成する。 3つのLSMを持つ6つのベンチマーク実験の結果、SAGEはGRPOを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T05:56:20Z)
• RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents [40.88916135445381]
  報酬は希少であり、探索は高価であるため、大規模言語モデルではマルチターンのツールコールは困難である。 一般的なレシピであるSFTとGRPOは、グループ内報酬の変動が低いときに停止する。 本稿では、離散的な報酬トークンを用いて、探索を制御可能なステアリング問題として扱うRC-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-02-03T02:47:32Z)
• $λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences [22.199479724764725]
  トークンレベルの重み付けを適応的に制御する学習可能なパラメータ$lambda$を導入します。 lambda$-GRPOはバニラGRPOとDAPOよりも一貫した改善を実現しています。 これらの利益は、トレーニングデータの変更や追加の計算コストなしで得られます。
  論文  参考訳（メタデータ） (2025-10-08T10:39:07Z)
• Geometric-Mean Policy Optimization [117.05113769757172]
  グループ相対政策最適化(GRPO)は,大規模言語モデルの推論能力を大幅に向上させた。 GRPOは、不利な重要度重み付けされた報酬を持つトークンに直面すると、不安定なポリシー更新に悩まされる。 本稿では,GRPOの安定性を向上させるために,トークン報酬の出力を抑えることにより,GMPO(Geometric-Mean Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-07-28T09:54:05Z)
• CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models [77.16976971950785]
  本稿では、推論モデルの学習を高速化するために、CPPO(Completion Pruning Policy Optimization)を提案する。 CPPOは絶対的なアドバンテージを低く保ち、勾配計算や更新に必要な数を大幅に削減する。 実験の結果、CPPOはGSM8Kで最大7.98タイム、Mathで3.48タイムで最大7.48タイム、オリジナルのGRPOと比較して精度を保っている。
  論文  参考訳（メタデータ） (2025-03-28T11:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。