論文の概要: Adaptive-Boundary-Clipping GRPO: Ensuring Bounded Ratios for Stable and Generalizable Training

• arxiv url: http://arxiv.org/abs/2601.03895v1
• Date: Wed, 07 Jan 2026 13:04:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.195202
• Title: Adaptive-Boundary-Clipping GRPO: Ensuring Bounded Ratios for Stable and Generalizable Training
• Title（参考訳）: Adaptive-Boundary-Clipping GRPO:Stable and Generalizable Training における境界値の保証
• Authors: Chi Liu, Xin Chen,
• Abstract要約: Adaptive-Boundary-Clipping GRPO (ABC-GRPO) はオリジナルのGRPOフレームワークの非対称かつ適応的な改良である。 ABC-GRPOは数学的推論タスクにおける標準GRPOよりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 7.404779700134294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) has emerged as a popular algorithm for reinforcement learning with large language models (LLMs). However, upon analyzing its clipping mechanism, we argue that it is suboptimal in certain scenarios. With appropriate modifications, GRPO can be significantly enhanced to improve both flexibility and generalization. To this end, we propose Adaptive-Boundary-Clipping GRPO (ABC-GRPO), an asymmetric and adaptive refinement of the original GRPO framework. We demonstrate that ABC-GRPO achieves superior performance over standard GRPO on mathematical reasoning tasks using the Qwen3 LLMs. Moreover, ABC-GRPO maintains substantially higher entropy throughout training, thereby preserving the model's exploration capacity and mitigating premature convergence. The implementation code is available online to ease reproducibility https://github.com/chi2liu/ABC-GRPO.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO) は、大規模言語モデル(LLM)を用いた強化学習の一般的なアルゴリズムとして登場した。 しかし, クリッピング機構の解析では, 特定のシナリオでは最適ではない。 適切な修正により、GRPOは柔軟性と一般化の両方を改善するために大幅に拡張できる。 そこで本研究では,従来のGRPOフレームワークを非対称かつ適応的に改良したAdaptive-Boundary-Clipping GRPO (ABC-GRPO)を提案する。 ABC-GRPOはQwen3 LLMを用いた数学的推論における標準GRPOよりも優れた性能を示す。 さらに、ABC-GRPOはトレーニングを通してかなり高いエントロピーを維持し、モデルの探索能力を維持し、早めの収束を緩和する。 実装コードは、再現性 https://github.com/chi2liu/ABC-GRPO を簡単にするためにオンラインで公開されている。

関連論文リスト

• A First-Order Logic-Based Alternative to Reward Models in RLHF [0.0]
  人間のフィードバックからの強化学習は、大きな言語モデルと人間の価値観と嗜好の整合において重要な役割を果たす。 既存のアプローチは報酬モデルに大きく依存し、言語モデルから人間に沿った行動へと導く。 本稿では,従来の報酬モデルに代わる論理類似性に基づく報酬機構を提案する。
  論文  参考訳（メタデータ） (2025-12-16T05:15:17Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• GRPO-RM: Fine-Tuning Representation Models via GRPO-Driven Reinforcement Learning [52.16150076582931]
  我々は、表現モデル(GRPO-RM)のためのグループ相対ポリシー最適化を提案する。 我々の手法は,大規模言語モデル(LLM)におけるトークンシーケンスサンプリングを機能的に置き換えるための事前定義された出力セットを確立する。 特殊報酬関数は表現モデルの性質を満たすように設計されている。
  論文  参考訳（メタデータ） (2025-11-19T09:19:39Z)
• Can GRPO Help LLMs Transcend Their Pretraining Origin? [42.200901132315636]
  グループ相対政策最適化は、大規模言語モデル(LLM)の推論能力を高めるための主要なアプローチである 広く採用されているにもかかわらず、GRPOの利益はしばしば矛盾している。 GRPOはどの条件で推論を改善し、アウト・オブ・ディストリビューション(OOD)を一般化するのか? まず、GRPOは基本モデルの分布に縛られ、完全に新しい解を見つけることができない保守的な再重み付けスキームであることを理論的に証明する。
  論文  参考訳（メタデータ） (2025-10-14T00:37:52Z)
• GRPO is Secretly a Process Reward Model [5.637496960655903]
  GRPO RLアルゴリズムは実世界の条件下で非自明なプロセス報酬モデルを生成する。 この欠陥を軽減するために,アルゴリズムの簡単な修正を提案する。 この結果から,GRPO の高コストで明示的な PRM の利点を疑問視する。
  論文  参考訳（メタデータ） (2025-09-25T13:40:36Z)
• Geometric-Mean Policy Optimization [117.05113769757172]
  グループ相対政策最適化(GRPO)は,大規模言語モデルの推論能力を大幅に向上させた。 GRPOは、不利な重要度重み付けされた報酬を持つトークンに直面すると、不安定なポリシー更新に悩まされる。 本稿では,GRPOの安定性を向上させるために,トークン報酬の出力を抑えることにより,GMPO(Geometric-Mean Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-07-28T09:54:05Z)
• Group Sequence Policy Optimization [55.40088895148603]
  Group Sequence Policy Optimization (GSPO) は、安定的で効率的でパフォーマンスの高い強化学習アルゴリズムである。 GSPOは、シーケンスの確率に基づいて重要度を定義し、シーケンスレベルのクリッピング、報酬、最適化を行う。
  論文  参考訳（メタデータ） (2025-07-24T03:50:32Z)
• DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
  本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。 ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。 難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
  論文  参考訳（メタデータ） (2025-05-21T03:43:29Z)
• Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO [22.00487909203855]
  グループ相対ポリシー最適化は、グループ内のすべてのレスポンスが正しくない場合にポリシーを更新できない。 この制限は、人工知能と人間の知性の間に重要なギャップを浮き彫りにする。 グループ内に応答の多様性を取り入れることで、全負のサンプル問題を緩和するシンプルなフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-16T18:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。