論文の概要: Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO

• arxiv url: http://arxiv.org/abs/2608.27351v1
• Date: Thu, 27 Aug 2026 16:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.496472
• Title: Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO
• Title（参考訳）: LLM推論の進化戦略の理解:GRPOより広帯域化
• Abstract要約: 進化戦略(Evolution Strategies, ES)は、推論のためのメモリ効率の高いポストトレーニングパラダイムとして登場した。 本稿ではまず,グループ相対政策最適化(GRPO)に対するESの性能上の優位性について述べる。 本稿では,Pass@1におけるGRPOの強みとPass@KにおけるESの利得を組み合わせた逐次GRPO-ESトレーニング戦略を開発する。
• 参考スコア（独自算出の注目度）: 29.055105879127904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolution Strategies (ES) have recently emerged as a memory-efficient post-training paradigm for LLM reasoning. However, the optimization behavior of ES remains understudied, making it hard to define its advantage scope compared to mainstream post-training paradigms (e.g., Group Relative Policy Optimization (GRPO)). By systematically investigating ES dynamics and mechanisms, this paper first identifies a performance advantage of ES over GRPO, theoretically and empirically showing that ES can lead to broader reasoning coverage, thereby better exploiting the reasoning capabilities of pretrained LLMs. Theoretically, we show that verifier-projected Jensen-Shannon diversity across the ES population is helpful to higher Pass@K performances. Empirically, unlike GRPO, which exhibits entropy collapse, ES improves Pass@1 while attaining higher Pass@K than GRPO. We further develop a sequential GRPO-ES training strategy that combines GRPO's strength in Pass@1 with ES's gains in Pass@K. Second, we find that despite substantial whole-model parameter drift, the task-performance gains of ES are only contributed to a sparse subset of larger-magnitude updates. This functional sparsity suggests that large parameter movement need not imply widespread functional change, and held-out evaluations further show that it does not necessarily lead to catastrophic forgetting. Finally, we study how hyperparameter design affects the effectiveness of ES, demonstrating that ES requires a smaller population size in a larger LLM. These findings position ES as a distinct reasoning post-training paradigm rather than a less effective, memory-efficient alternative to GRPO.
• Abstract（参考訳）: 進化戦略(Evolution Strategies, ES)は近年, LLM推論のためのメモリ効率の高い後学習パラダイムとして登場した。 しかし、ESの最適化行動はまだ検討されていないため、メインストリームのポストトレーニングパラダイム(GRPO(Group Relative Policy Optimization)など)と比較して、その利点の範囲を定義することは困難である。 本論文は,ESの力学と機構を体系的に研究することにより,まず,GRPOよりもESの方が優れた性能を示し,ESがより広い推論範囲に導出できることを理論的かつ実証的に示す。 理論的には,検証器が提案するES人口のJensen-Shannon多様性がPass@K性能の向上に有効であることを示す。 実証的には、エントロピー崩壊を示すGRPOとは異なり、ESはPass@1を改善し、GRPOよりも高いPass@Kを達成する。 我々はさらに、Pass@1におけるGRPOの強みとPass@KにおけるESの利得を組み合わせた逐次GRPO-ESトレーニング戦略を開発する。 第二に、モデル全体のパラメータドリフトが大きいにもかかわらず、ESのタスクパフォーマンスゲインは、大局的な更新の少ないサブセットにしか寄与しない。 この機能的疎度は、大きなパラメータの動きが広範な機能的変化を示唆する必要はないことを示唆し、ホールドアウト評価は、必ずしも破滅的な忘れ方につながるとは限らないことをさらに示している。 最後に,超パラメータ設計がESの有効性にどのように影響するかを考察し,ESがより大きなLSMにおいてより小さい個体数を必要とすることを示す。 これらの結果から,ESはGRPOに代わり,より効果的でメモリ効率の低い代替品というよりは,学習後パラダイムとしての明確な理由づけとして位置づけられた。

関連論文リスト

• AdaGRPO: A Capability-Aware Adaptive Enhancement for Flow-based GRPO [78.36537400975298]
  グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルと人間の嗜好の整合において顕著な成功を収めた。 我々は,現在のフローベースGRPOの学習ループが,学習者の現在の能力から根本的に切り離されていることを確認した。 本稿では,フローモデルに適した新しい能力認識型RLアルゴリズムであるAdaptive GRPO(AdaGRPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T02:07:08Z)
• GAGPO: Generalized Advantage Grouped Policy Optimization [13.085463559931156]
  そこで我々は,段階的,段階的な時間的信用割当のための批判のない強化学習手法を提案する。 ALFWorldとWebShopの実験によると、GAGPOは強力な強化学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-13T09:10:03Z)
• AGPO: Asymmetric Group Policy Optimization for Verifiable Reasoning and Search Ads Relevance at JD [12.270495684580546]
  この境界縮小に対応するために,非対称グループ政策最適化(AGPO)を提案する。 AGPOは、誤った推論経路を抑え、ベースモデルの探索能力を維持するために、負の優位な強化戦略を採用している。 5つの数学的ベンチマーク実験により,AGPOは最先端の精度を達成しつつ,スケールにおけるパス@$k$の性能を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-05-07T08:00:48Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Expand and Prune: Maximizing Trajectory Diversity for Effective GRPO in Generative Models [37.48289959306949]
  グループ相対政策最適化は、生成モデルを調整するための強力なテクニックである。 しかし、その効果は、大規模なグループサイズと禁止的な計算コストの衝突によってボトルネックとなる。 提案するPro-GRPOは,遅延特徴に基づく軌道プルーニングをサンプリングプロセスに統合する新しい動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-17T11:44:34Z)
• GRPO-MA: Multi-Answer Generation in GRPO for Stable and Efficient Chain-of-Thought Training [13.218620894749067]
  RL(Reinforcement Learning)アプローチであるGRPOは,大規模言語モデル(LLM)と視覚言語モデル(VLM)において,CoT(Chain-of-Thought)推論を効果的に訓練することができる。 本稿では,GRPOの3つの課題として,思考と回答の勾配結合,限られた並列サンプリングによる報酬信号の分散,不安定な優位性推定について分析する。 本稿では, GRPO-MAを提案する。GRPO-MAは, 各思考プロセスから複数問合せを生成し, より堅牢で効率的な最適化を実現する。
  論文  参考訳（メタデータ） (2025-09-29T09:07:45Z)
• On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。 従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。 従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
  論文  参考訳（メタデータ） (2025-05-24T18:58:51Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO [22.00487909203855]
  グループ相対ポリシー最適化は、グループ内のすべてのレスポンスが正しくない場合にポリシーを更新できない。 この制限は、人工知能と人間の知性の間に重要なギャップを浮き彫りにする。 グループ内に応答の多様性を取り入れることで、全負のサンプル問題を緩和するシンプルなフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-16T18:02:05Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。