論文の概要: Is it RL or Data? A Controlled Comparison of GRPO and Rejection-Sampling Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.25812v1
• Date: Mon, 19 Oct 2026 05:26:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:33:56.72332
• Title: Is it RL or Data? A Controlled Comparison of GRPO and Rejection-Sampling Fine-Tuning
• Title（参考訳）: RLかデータか?GRPOとRejection-Samplingファインチューニングの比較
• Abstract要約: Bauer et al. (2026) は、検証可能な報酬を伴う低データ強化学習において、GRPOを混合拡散プロンプトで訓練すると、簡単なプロンプトのサンプル効率の最大5倍になることを示した。 GRPOとリジェクションサンプリングファインチューニング(RFT)を同一のプロンプト,検証器,トークンキャップで比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bauer et al. (2026) showed that in low-data reinforcement learning with verifiable rewards, training GRPO on mixed-difficulty prompts gives up to 5x the sample efficiency of easy-only prompts. They did not test whether this benefit is specific to GRPO, or whether another post-training method given the same data would obtain it too. We test this on their procedural counting task with Qwen3-4B-Base and LoRA, comparing GRPO to rejection-sampling fine-tuning (RFT) on the same prompts, verifier and token cap. Six primary arms cross the two methods with three prompt sets (Easy, Mixed, and a Curated subset of prompts the base model sometimes solves, which makes GRPO's implicit filter explicit). We use three seeds per arm. Hypotheses and falsifiers were registered before training. To rule out a poorly tuned baseline, RFT receives a 27-run hyperparameter sweep, while GRPO uses Bauer et al.'s recipe unchanged. GRPO outperforms RFT at every prompt set: by 10.9 points on held-out test problems with curated prompts, and, in post hoc comparisons with matched rollout budgets, by 8.4 and 9.2 points on the easy and mixed prompts. On test the advantage survives the least favorable treatment of truncated completions; out of distribution, truncation prevents a conclusion. Curating prompts does not help RFT (-2.7 points). Mixed-difficulty data helps RFT (+3.7 points), while for GRPO the evidence is inconclusive. A secondary iterated-RFT arm, which resamples from the current policy, recovers 3.2 of the 10.9-point gap (about 30%). These are controlled measurements on one synthetic task family and one base model with three seeds per arm.
• Abstract（参考訳）: Bauer et al (2026) は、検証可能な報酬を伴う低データ強化学習において、GRPOを混合拡散プロンプトで訓練すると、簡単なプロンプトのサンプル効率の最大5倍になることを示した。 彼らは、この利点がGRPOに固有のものなのか、同じデータに与えられた別のポストトレーニング方法がそれを得るかどうかをテストしなかった。 我々は、Qwen3-4B-BaseとLoRAを用いて手続き的カウントタスクにおいて、同じプロンプト、検証器、トークンキャップ上でGRPOとRFTを比較した。 6つのプライマリアームは3つのプロンプトセットで2つのメソッドを交差する(簡単、混合、およびベースモデルのプロンプトのキュレートされたサブセットは時に解決するので、GRPOの暗黙のフィルターは明示的である)。 私たちは腕に3つの種を使います。 仮説とファルシファイアは訓練前に登録された。 調整の不十分なベースラインを除外するために、RFTは27ランのハイパーパラメータスイープを受け取り、GRPOはBauer et alのレシピをそのまま使用する。 GRPOは、キュレートされたプロンプトによるホールトアウトテスト問題で10.9ポイント、マッチしたロールアウト予算で比較すると、簡単なプロンプトと混合したプロンプトで8.4ポイント、9.2ポイント、の各プロンプトでRFTを上回っている。 テストにおいて、利点は、切り離された完了の最も好ましくない処理を生き残り、分布から外れて、切り崩しは結論を出すのを防げる。 カーリングプロンプトはRTT(2.7点)の役に立たない。 混合拡散データは RFT (+3.7 点) に役立つが、GRPO の場合、証拠は決定的ではない。 二次反復RFTアームは、現在のポリシーから再サンプリングされ、10.9ポイントのギャップ(約30%)の3.2を回復する。 これらは1つの合成タスクファミリーと1つのベースモデルで、1つの腕に3つのシードを持つように制御されている。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents [49.14597017870827]
  Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。 検索と回答を別々に行うために,グラウンドド・クレジット・アサインメント(GCA)を提案する。
  論文  参考訳（メタデータ） (2026-10-16T08:43:11Z)
• What pass@k Cannot Measure: Evaluating Diversity and Capability Retention after Post-Training [4.500362688166346]
  pass@$k$は、正しいサンプルの確率にのみ依存しており、どのように出力に分散するかという用語は存在しない。 これは、通常の認証に使用されるプロパティが欠落している標準評価プロトコルの具体例である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-10-05T21:16:32Z)
• Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data [0.0]
  回答のみのデータを使用し、CoTを潜伏変数として扱う自己蒸留技術。 逆モデルは一度トレーニングされ、入ってくる応答専用データのバッチ間で再利用される。 ベスト・オブ・n$選択テスト時間に使用すると、Countdownで選択精度が0.753(多数投票)から0.969に上昇する。
  論文  参考訳（メタデータ） (2026-10-01T01:56:34Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• SFT-GRPO Data Overlap as a Post-Training Hyperparameter for Autoformalization [0.0]
  SFT と GRPO のデータを分離し続けることは、計算コストゼロで完全にオーバーラップする。 その結果,コンパイルモデルにおいて,コンパイルのセマンティックギャップが30パーセントを超えることが判明した。
  論文  参考訳（メタデータ） (2026-04-15T06:00:25Z)
• Prompt replay: speeding up grpo with on-policy reuse of high-signal prompts [0.0]
  検証可能な報酬(RLVR)による強化学習は推論能力の拡大に重要な役割を担っているが、GRPOスタイルのトレーニングは高価なロールアウトと使い捨てのプロンプトで計算される無駄に支配されている。 本稿では,GRPO のオーバヘッドフリーなオンラインデータ選択手法である Prompt Replay を提案する。
  論文  参考訳（メタデータ） (2026-03-22T11:39:51Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。