論文の概要: GRPO Training Dynamics for Small Language Models

• arxiv url: http://arxiv.org/abs/2609.39321v1
• Date: Wed, 30 Sep 2026 08:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.466889
• Title: GRPO Training Dynamics for Small Language Models
• Title（参考訳）: 小言語モデルのためのGRPOトレーニングダイナミクス
• Abstract要約: グループ相対政策最適化は、推論集約タスクのためのメモリ効率強化微調整(RFT)技術として登場した。 SLM (Small Language Model) の GRPO トレーニングのダイナミクスはいまだに理解されていない。 本稿では,実用的な単一ノード8xA100計算予算の下で1.5Bから7BパラメータのGRPO微調整を体系的に行う。
• 参考スコア（独自算出の注目度）: 1.1725417904453275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) has emerged as a memory-efficient reinforcement fine-tuning (RFT) technique for reasoning-intensive tasks. How- ever, GRPO training dynamics on small language models (SLMs) remain poorly understood, limiting its reliable adoption and reproducibility in open and resource- constrained environments. In this work, we present a systematic study of GRPO fine-tuning for SLMs ranging from 1.5B to 7B parameters under a practical single- node 8xA100 compute budget. Our study spans multiple model families and reasoning domains, including mathematics, coding, and multiple-choice question answering (MCQ) in science. Across these settings, we analyze how group size affects policy convergence, training stability, and downstream benchmark per- formance. We further characterize tensor-level update dynamics during GRPO training and investigate whether the choice of LoRA target modules and layers can improve the performance of GRPO-tuned models. While our initial GRPO-tuned models outperform their base counterparts on approximately 80% of mathematical benchmark evaluations, they demonstrate limited capability on MCQ and code reasoning tasks. Guided by our mechanistic evaluations, we refined our LoRA and reward-shaping configurations to improve performance in latter domains. These findings provide practical guidance for GRPO training for SLMs.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、推論集約タスクのためのメモリ効率強化微調整(RFT)技術として登場した。 SLM(Small Language Model)でのGRPOトレーニングのダイナミクスは依然として理解されていないままであり、オープンでリソースに制約のある環境での信頼性と再現性を制限している。 本研究では,実用的な単一ノード 8xA100 計算予算の下で,1.5B から 7B までの SLM の GRPO 微調整に関する体系的研究を行う。 本研究は,科学における数学,コーディング,複数選択質問応答(MCQ)など,複数のモデルファミリと推論領域にまたがる。 これらの設定全体で、グループサイズがポリシーの収束、トレーニングの安定性、フォームごとのダウンストリームベンチマークにどのように影響するかを分析します。 さらに、GRPOトレーニング中のテンソルレベルの更新ダイナミクスを特徴付けるとともに、LORAターゲットモジュールと層の選択がGRPOチューニングモデルの性能を向上させるかどうかを検討する。 GRPOをチューニングした最初のモデルは,約80%の数学ベンチマーク評価において,基本モデルよりも優れているが,MCQやコード推論タスクでは制限された性能を示す。 メカニスティックな評価により,ロラと報奨構成を改良し,後者の性能向上を実現した。 これらの知見は,SLMのGRPOトレーニングの実践的ガイダンスを提供する。

関連論文リスト

• AdaGRPO: A Capability-Aware Adaptive Enhancement for Flow-based GRPO [78.36537400975298]
  グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルと人間の嗜好の整合において顕著な成功を収めた。 我々は,現在のフローベースGRPOの学習ループが,学習者の現在の能力から根本的に切り離されていることを確認した。 本稿では,フローモデルに適した新しい能力認識型RLアルゴリズムであるAdaptive GRPO(AdaGRPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T02:07:08Z)
• Poly-EPO: Training Exploratory Reasoning Models [62.82992914206963]
  本稿では,学習後言語モデル(LM)の枠組みについて,楽観的な探索を明示的に奨励し,探索と搾取の相乗効果を促進する。 本稿では,この枠組みを探索と利用を明確に相乗化するための目的として,ポリクロミック探索政策最適化(Poly-EPO)を提案する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:19Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• A First-Order Logic-Based Alternative to Reward Models in RLHF [0.0]
  人間のフィードバックからの強化学習は、大きな言語モデルと人間の価値観と嗜好の整合において重要な役割を果たす。 既存のアプローチは報酬モデルに大きく依存し、言語モデルから人間に沿った行動へと導く。 本稿では,従来の報酬モデルに代わる論理類似性に基づく報酬機構を提案する。
  論文  参考訳（メタデータ） (2025-12-16T05:15:17Z)
• GRPO-RM: Fine-Tuning Representation Models via GRPO-Driven Reinforcement Learning [52.16150076582931]
  我々は、表現モデル(GRPO-RM)のためのグループ相対ポリシー最適化を提案する。 我々の手法は,大規模言語モデル(LLM)におけるトークンシーケンスサンプリングを機能的に置き換えるための事前定義された出力セットを確立する。 特殊報酬関数は表現モデルの性質を満たすように設計されている。
  論文  参考訳（メタデータ） (2025-11-19T09:19:39Z)
• G$^2$RPO-A: Guided Group Relative Policy Optimization with Adaptive Guidance [1.0591274452539035]
  転がり軌道に地道推論ステップを注入するガイドGRPOについて検討する。 率直にガイダンスを追加することで、利益が制限されることに気付きました。 数学的推論とコード生成ベンチマークの実験により、G$2$RPO-AがバニラGRPOを大幅に上回っていることが確認された。
  論文  参考訳（メタデータ） (2025-08-18T15:41:16Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO [22.00487909203855]
  グループ相対ポリシー最適化は、グループ内のすべてのレスポンスが正しくない場合にポリシーを更新できない。 この制限は、人工知能と人間の知性の間に重要なギャップを浮き彫りにする。 グループ内に応答の多様性を取り入れることで、全負のサンプル問題を緩和するシンプルなフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-16T18:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。