論文の概要: Rethinking Groups in Critic-Free RLVR

• arxiv url: http://arxiv.org/abs/2606.17250v1
• Date: Mon, 15 Jun 2026 19:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.123164
• Title: Rethinking Groups in Critic-Free RLVR
• Title（参考訳）: 批判のないRLVRにおけるグループ再考
• Authors: Yihong Wu, Liheng Ma, Lingfeng Xiao, Muzhi Li, Xinyu Wang, Yingxue Zhang, Jian-Yun Nie,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの訓練後の中心パラダイムとなっている。 既存の批判のないRLメソッドは、通常同じ質問に対してロールアウトのグループを生成する。 基礎となる機能は, 基準線を推定するだけでなく, 負のサンプルに対する偽の罰則を防ぐことにある。
• 参考スコア（独自算出の注目度）: 22.22297138402367
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning (RL) has become a central paradigm for post-training large language models. Existing critic-free RL methods typically generate a group of rollouts for the same question to estimate value baselines for advantage computation. However, this design suffers from data inefficiency, group synchronization barriers, and inflexibility with structured rollouts. In this work, we revisit the role of the ``group'' and show that its underlying function is not merely to estimate baselines but to prevent false penalties on negative samples. Building on this insight, we propose negative token filtering, a simple and effective strategy that enables stable single-rollout training. We apply it to two batch-level advantage methods, achieving comparable performance on reasoning tasks and stronger performance on agentic tasks relative to group-based RL techniques.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの訓練後の中心パラダイムとなっている。 既存の批判のないRL法は、通常、利点計算のための値ベースラインを推定するために同じ質問に対するロールアウトのグループを生成する。 しかし、この設計はデータ非効率、グループ同期障壁、構造化ロールアウトによる柔軟性に悩まされている。 本研究では, '`group' の役割を再考し, その基礎となる機能は, 基準線を推定するだけでなく, 負のサンプルに対する偽の罰則を防ぐことであることを示す。 この知見に基づいて、安定なシングルロールアウトトレーニングを可能にするシンプルで効果的な戦略である負のトークンフィルタリングを提案する。 提案手法を2つのバッチレベル・アドバンテージ・メソッドに適用し、推論タスクに匹敵する性能を達成し、グループベースRL技術と比較してエージェントタスクに強い性能を付与する。

関連論文リスト

• BASIS: Batchwise Advantage Estimation from Single-Rollout Information Sharing for LLM Reasoning [9.698479933114552]
  既存のアルゴリズムは、値推定とポリシー学習における計算効率とサンプル効率のトレードオフに直面している。 このトレードオフに対処するために,ポストフリーな批判アルゴリズムを導入する。 実験では、REINFORCE++と比較して、値関数推定のMSEを69%削減している。
  論文  参考訳（メタデータ） (2026-05-26T17:06:41Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
  本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。 RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-30T15:07:06Z)
• Your Group-Relative Advantage Is Biased [74.57406620907797]
  グループベースの学習手法は、学習評論家を避けるためにグループ相対的な優位性推定に依存する。 群相対的優位推定器は、真の(予想された)優位性に対して本質的に偏りがある。 適応的再重み付け方式であるヒストリー・アウェア適応困難度重み付け(HA-DW)を提案する。
  論文  参考訳（メタデータ） (2026-01-13T13:03:15Z)
• Stable and Efficient Single-Rollout RL for Multimodal Reasoning [66.53652874617217]
  $textbfMSSR$ (Multimodal Stabilized Single-Rollout)はグループフリーのRLVRフレームワークで、安定した最適化と効果的なマルチモーダル推論性能を実現する。 分散評価では、MSSRはトレーニングの効率が良く、トレーニングの歩数の半分でグループベースベースラインに類似した検証精度を達成できる。
  論文  参考訳（メタデータ） (2025-12-20T05:07:53Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。