Fugu-MT 論文翻訳(概要): CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO

論文の概要: CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO

arxiv url: http://arxiv.org/abs/2606.00172v1
Date: Fri, 29 May 2026 13:21:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.088325
Title: CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO
Title（参考訳）: CAST: GRPOのためのアドバンテージ・フリップによる非分岐型非対称自己学習
Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するために広く用いられている。本研究は,GRPO型RLVRに対する無回答自己蒸留法であるCASTを提案する。
参考スコア（独自算出の注目度）: 9.443660785229719
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning with verifiable rewards (RLVR), especially Group Relative Policy Optimization (GRPO), has been widely used to improve reasoning in large language models. However, outcome-level rewards provide only sparse supervision, and group-relative advantages vanish when all sampled trajectories for a prompt are either correct or incorrect. On-Policy Self-Distillation (OPSD) offers dense token-level guidance, but its token preferences are not necessarily aligned with trajectory correctness; empirical diagnostics show that OPSD signals behave differently on correct and incorrect rollouts, with teacher-positive and teacher-negative gap signals exhibiting different noise profiles. These diagnostics are conducted under an OPSD-style privileged teacher context for analysis only, whereas CAST training uses answer-free self-teacher scoring.Motivated by these observations, this work proposes CAST, an answer-free self-distillation method for GRPO-style RLVR. CAST keeps the verifier-grounded GRPO objective, but uses a stop-gradient self-teacher to shape token-level advantages according to trajectory correctness. Unlike prior self-distilled RLVR methods, CAST does not require reference-solution-conditioned teacher scoring, keeps the self-teacher log-probability gap active throughout training, and applies bidirectional local advantage sign reversal: teacher-negative tokens in correct trajectories can receive negative token-level advantages, while teacher-positive tokens in incorrect trajectories can receive bounded positive local advantages. For zero-variance all-correct and all-wrong groups, CAST assigns bounded sign-constrained base advantages, so these otherwise zero-gradient groups can contribute verifier-signed token feedback. Experiments on mathematical reasoning show that CAST improves RLVR training while retaining a lightweight, verifier-grounded trajectory-level objective.
Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)、特にグループ相対政策最適化(GRPO)は、大規模言語モデルの推論を改善するために広く利用されている。しかし、結果レベルの報酬はまばらな監督しか提供せず、プロンプトのための全てのサンプル軌跡が正しいか間違っている場合、グループ相対的な優位性は消滅する。 On-Policy Self-Distillation (OPSD)は、密集したトークンレベルのガイダンスを提供するが、そのトークンの選好は必ずしも軌跡の正しさと一致していない。これらの診断は、OPSD型特権教師の文脈で実施され、CASTトレーニングは、回答なしの自己教育者スコアリングを用いており、これらの観察により、GRPO型RLVRの回答なし自己蒸留法であるCASTを提案する。 CASTは、検証対象のGRPOを目標とするが、軌道の正確性に応じてトークンレベルの利点を形作るために、停止段階の自己学習器を使用する。従来の自己希釈RLVR法とは異なり、CASTは基準条件付き教師のスコアリングを必要とせず、トレーニングを通して自己教師の対数確率ギャップを保ち、双方向の局所的有利なサインリバーサルを適用している: 正しいトラジェクトリにおける教師陰性トークンは負のトークンレベルのアドバンテージを受け、不正確なトラジェクトリにおける教師正トークンは有界の正の局所的アドバンテージを受けることができる。ゼロ分散全正および全王基に対しては、CASTは有界な符号制約付き基底の利点を割り当て、そうでなければ、これらのゼロ勾配群は検証子符号付きトークンのフィードバックに寄与することができる。数学的推論実験により、CASTは軽量で検証済みの軌道レベルの目標を維持しながら、RLVRトレーニングを改善することが示された。

関連論文リスト

FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
論文参考訳（メタデータ） (2026-09-03T00:47:11Z)
RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文参考訳（メタデータ） (2026-08-25T08:35:04Z)
Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文参考訳（メタデータ） (2026-08-01T17:29:14Z)
H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文参考訳（メタデータ） (2026-07-21T10:47:27Z)
Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers [25.040339775169883]
本研究では,無条件学生の教師として,ルーリックに条件付けされた基本方針が機能する検証不要な学習方法を提案する。 Qwen-2.5 (3B, 7B) と Qwen3-Thinking (4B, 8B) の医療分野におけるモデル全体で、RGSD は審査ベースの RuricO に匹敵する満足度を達成している。
論文参考訳（メタデータ） (2026-06-10T17:53:19Z)
Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。我々は、この原則を軌跡固有のリリースルールで運用する。強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文参考訳（メタデータ） (2026-05-13T15:05:30Z)
Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文参考訳（メタデータ） (2026-05-13T09:20:03Z)
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文参考訳（メタデータ） (2026-05-12T17:00:53Z)
OPSD Compresses What RLVR Teaches: A Post-RL Compaction Stage for Reasoning Models [12.17078443900398]
RLVR(Reinforcement Learning with Verifiable Rewards)の代替として,オンライン自己蒸留(On-Policy Self-Distillation, OPSD)が最近登場した。考察可能な数学的推論では、OPSDは補正機構よりも圧縮機構として最も確実に振る舞う。
論文参考訳（メタデータ） (2026-05-07T13:04:34Z)
Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文参考訳（メタデータ） (2026-04-03T15:50:07Z)
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
論文参考訳（メタデータ） (2026-03-20T11:47:12Z)
Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training [17.530233901658253]
セグメンショナルアドバンテージ推定は、一般化アドバンテージ推定が検証されたリワードを用いた強化学習において生じるバイアスを緩和する。 SAEは、最終的なスコア、安定性、サンプル効率を著しく改善し、優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-01-12T08:41:47Z)
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文参考訳（メタデータ） (2025-12-22T16:34:21Z)
No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping [35.34724727629745]
ゼロ分散プロンプトから学習信号を抽出する新しいアルゴリズムであるゼロ分散プロンプト(RL-ZVP)を導入する。 RL-ZVPは、応答を対比することなく、直接正しさを報償し、エラーを罰する。 6つの数学推論ベンチマークで、RL-ZVPはGRPOよりも最大8.61ポイント、パスレート7.77ポイントの大幅な改善を実現している。
論文参考訳（メタデータ） (2025-09-26T05:03:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。