論文の概要: GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning

• arxiv url: http://arxiv.org/abs/2504.02546v2
• Date: Thu, 17 Apr 2025 15:53:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:34:17.558576
• Title: GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning
• Title（参考訳）: GPG:モデル推論のためのシンプルで強力な強化学習ベースライン
• Authors: Xiangxiang Chu, Hailang Huang, Xiao Zhang, Fei Wei, Yong Wang,
• Abstract要約: グループポリシーグラディエント(GPG)と呼ばれる最小主義的RLアプローチを提案する。 従来の手法とは異なり、GAGは元のRL目標を直接最適化するので、損失関数のサロゲートが不要になる。 本手法は補助的な技術や調整に頼ることなく優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 17.544255491384046
• License:
• Abstract: Reinforcement Learning (RL) can directly enhance the reasoning capabilities of large language models without extensive reliance on Supervised Fine-Tuning (SFT). In this work, we revisit the traditional Policy Gradient (PG) mechanism and propose a minimalist RL approach termed Group Policy Gradient (GPG). Unlike conventional methods, GPG directly optimize the original RL objective, thus obviating the need for surrogate loss functions. By eliminating the critic and reference models, avoiding KL divergence constraints, and addressing the advantage and gradient estimation bias, our approach significantly simplifies the training process compared to Group Relative Policy Optimization (GRPO). Our approach achieves superior performance without relying on auxiliary techniques or adjustments. As illustrated in Figure 1, extensive experiments demonstrate that our method not only reduces computational costs but also consistently outperforms GRPO across various unimodal and multimodal tasks. Our code is available at https://github.com/AMAP-ML/GPG.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は,大規模言語モデルの推論能力を,スーパーバイザード・ファイン・チューニング(SFT)に大きく依存せずに直接強化することができる。 本研究では,従来の政策グラディエント(PG)機構を再検討し,グループ政策グラディエント(GPG)と呼ばれる最小主義的RLアプローチを提案する。 従来の手法とは異なり、GAGは元のRL目標を直接最適化するので、損失関数のサロゲートが不要になる。 批判モデルや参照モデルを排除し,KLの分散制約を回避し,優位性および勾配推定バイアスに対処することにより,グループ相対政策最適化(GRPO)と比較してトレーニングプロセスを著しく単純化する。 本手法は補助的な技術や調整に頼ることなく優れた性能を実現する。 図1に示すように、我々の手法は計算コストを削減できるだけでなく、様々な非モーダルタスクやマルチモーダルタスクにおいてGRPOを一貫して上回ることを示す。 私たちのコードはhttps://github.com/AMAP-ML/GPG.comで公開されています。

関連論文リスト

• Entropy Controllable Direct Preference Optimization [3.536605202672355]
  提案するDPOは,提案するポリシのエントロピーを制御可能なH-DPOである。 実験の結果,H-DPO は様々なタスクにおいて DPO よりも優れており,数理タスクに対するpass@$k$ 評価において優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-11-12T07:09:44Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Reduced Policy Optimization for Continuous Control with Hard Constraints [14.141467234397256]
  我々は、RLと一般的な制約を組み合わせた新しい制約付きRLアルゴリズムを提案する。 これらのベンチマークでは、RPOは報酬と制約違反の両方の観点から、以前の制約付きRLアルゴリズムよりも優れたパフォーマンスを達成する。 RPOは、新しいベンチマークとともに、現実世界の問題に複雑な制約を適用する新たな機会を開くと信じています。
  論文  参考訳（メタデータ） (2023-10-14T12:55:43Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Multi-fidelity reinforcement learning framework for shape optimization [0.8258451067861933]
  マルチファイダリティ・シミュレーション・セッティングを利用する制御型トランスファー学習フレームワークを提案する。 我々の戦略は高レイノルズ数での翼形状最適化問題に対して展開される。 本研究は,本フレームワークが他の科学的DRLシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-22T20:44:04Z)
• Supported Policy Optimization for Offline Reinforcement Learning [74.1011309005488]
  オフライン強化学習(RL)に対する政策制約手法は、通常、パラメータ化や正規化を利用する。 規則化手法は学習方針と行動方針の分岐を減少させる。 本稿では、密度に基づくサポート制約の理論的定式化から直接導出した支援政策最適化(SPOT)について述べる。
  論文  参考訳（メタデータ） (2022-02-13T07:38:36Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。