論文の概要: SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation

• arxiv url: http://arxiv.org/abs/2608.09271v1
• Date: Mon, 10 Aug 2026 08:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.149105
• Title: SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation
• Title（参考訳）: ソフトマックスGRPO:Softmaxアドバンテージグループ推定を用いた推論学習
• Abstract要約: グループベースの強化学習の目的は、迅速な難易度を越えて学習信号を適切に割り当てることができる。 我々はSoftmax Advantage Group Estimation (SoftmaxGRPO)を紹介する。 これはzスコア正規化群の利点を温度スケールのソフトマックスの利点に置き換え、急激な難易度に関わらず重みを束縛する。
• 参考スコア（独自算出の注目度）: 15.72045790929873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-based reinforcement learning objectives such as GRPO can allocate learning signal poorly across prompt difficulty: under binary rewards, group normalization induces a divergent weighting on easy prompts. We introduce Softmax Advantage Group Estimation (SoftmaxGRPO), a drop-in alternative that replaces z-score-normalized group advantages with temperature-scaled softmax advantages, keeping weights bounded regardless of prompt difficulty. For binary rewards, we derive the exact finite-group population objective and identify MaxRL as its low-temperature limit. For bounded scalar rewards, we show that the large-group update exactly optimizes a log-moment-generating-function objective, while a universal finite-group scalar objective cannot exist without additional assumptions on the reward distribution. Empirically, SoftmaxGRPO reallocates measured gradient budget away from near-solved prompts and consistently improves over GRPO under identical rewards. It reaches 51.8% on DeepMath with verifiable rewards and improves a 1.5B instruction-tuned model from 35.0% to 68.0% on Poetry using only lightweight text-similarity rewards.
• Abstract（参考訳）: GRPOのようなグループベースの強化学習の目的は、2進報酬の下では、グループ正規化は容易なプロンプトに対して分岐重み付けを誘導する。 我々は,zスコア正規化群の利点を温度スケールのソフトマックスの利点に置き換えたドロップイン代替案であるSoftmax Advantage Group Estimation(SoftmaxGRPO)を導入する。 二項報酬に対して、正確な有限群集団の目的を導出し、MaxRLを低温の極限とみなす。 有界スカラーの報奨について、大群更新は対数運動生成関数の目的を正確に最適化するが、普遍有限群スカラーの目的は報酬分布に関する追加の仮定なしでは存在しないことを示す。 実験的に、SoftmaxGRPOは測定された勾配予算をほぼ解決されたプロンプトから切り離し、同じ報酬の下でGRPOよりも一貫して改善する。 DeepMathの51.8%に到達し、検証可能な報酬と1.5Bの命令調整モデルの改善が35.0%から68.0%に向上した。

関連論文リスト

• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• GROW: Group-Relative Advantage-Weighted On-Policy Reinforcement Learning of Autoregressive-Diffusion Text-to-Speech model [27.732048282790192]
  本稿では,標準フローマッチング目的に直接作用するグループ重み付きオンラインRL法GROWを提案する。 GROWは、政治上の発話のグループをサンプリングし、グループ内のインテリジェンスと話者-類似性報酬を個別に標準化し、それらを重回帰に結合する。 GROWは、32-NFE DiTAR-GRPOより2.9倍高速なトレーニングをしながら、同等のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-08-04T06:50:55Z)
• CIGPO: Contextual Information-Gain Policy Optimization for Multi-Turn Evidence-Reading LLM Agents [1.4298580363875282]
  結果のみの強化学習によるマルチターンエビデンス読解エージェントのトレーニングは、中間旋回が直接クレジットをほとんど受け取らないため不安定である。 Qwen2.5-3B-InstructによるHotpotQA実験では、GRPOは最初(標準F1 0.430)改善されたが、その後100%フォーマット違反の出力に崩壊する。 本研究では,各ターン当たりの報酬を中間的エビデンス読解ターンに割り当てることで,グループ報酬分布が1つの値に崩壊するのを防ぐ,分散テキスト戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T11:50:29Z)
• Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
  Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。 Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
  論文  参考訳（メタデータ） (2026-06-08T06:20:12Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• LamPO: A Lambda Style Policy Optimization for Reasoning Language Models [34.349722314481824]
  検証可能な報酬付き強化学習(RLVR)は、数学、コーディング、科学的質問応答といったタスクにおける言語モデル推論の改善に有効なパラダイムとなっている。 我々は、スカラーグループの利点を emphPairwise De Advantage に置き換える textbfLambda-Style Policy Optimization 法である textbfLamPO を提案する。 AIME24, AIME25, MATH-500, GPQA-DiamondのQwen3-1.7B, Qwen3-4B, Phi-4-miniによる実験により, LamPOはGRPOよりも一貫して改善していることが示された。
  論文  参考訳（メタデータ） (2026-05-20T14:24:11Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Maximum Likelihood Reinforcement Learning [51.83034817019976]
  MaxRLは、強化学習技術を用いて、最大極大度を近似するサンプリングベースのフレームワークである。 MaxRLは,GRPOで訓練したものと比較して,最大20倍のスケーリング効率を達成できることを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:23:42Z)
• GIFT: Group-relative Implicit Fine Tuning Integrates GRPO with DPO and UNA [6.07907277934348]
  GIFTはアライメントのための新しい強化学習フレームワークである。 暗黙の報酬モデルと明示的な報酬モデルとの差を最小限にする。 数学的ベンチマークにおいて優れた推論とアライメント性能を達成する。
  論文  参考訳（メタデータ） (2025-10-27T21:18:19Z)
• Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting [24.822152032771736]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルを改善するための標準的なレシピとなっている。 負の集団は、余分な監督なしに活用できることが示される。
  論文  参考訳（メタデータ） (2025-10-09T18:01:44Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。