論文の概要: Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2608.09826v1
• Date: Mon, 10 Aug 2026 16:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.387833
• Title: Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation
• Title（参考訳）: 軽量化技術とプロンプト--オン・ポリケーション型自己蒸留のための基本信号としての抽象スキル
• Abstract要約: 検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。 SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 7.296659715681798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards yields no group-relative signal when rollout groups are uniformly correct or uniformly wrong, which account for 63.0-68.0% of groups in our experiments. We propose SKALD (Skill-Anchored Latent Distillation), an on-policy self-distillation framework that uses two context views of the same Qwen3-Base model: a question-only student and a teacher conditioned on an abstract, explicit-answer-filtered skill card. The student is trained on its own prefixes, transferring the skill-induced advantage into shared parameters without privileged input at test time. To stabilize context-induced distribution mismatch, SKALD employs an annealed exponentially tilted objective that downweights teacher-preferred tokens with very low student likelihood; as the tilt vanishes, it converges to teacher cross-entropy and recovers the forward-KL student gradient. An empirical gate activates distillation only when verified rollouts estimate a positive teacher advantage. Across five held-out mathematics benchmarks, SKALD improves overall avg@8 over GRPO by +2.46, +4.85, and +12.01 at 0.6B, 1.7B, and 4B, respectively. At 1.7B, zero-variance-only distillation recovers 84.7% of the full gain, while SKALD remains +4.06 above FLOP-matched GRPO and exceeds contextual skill exposure by +3.77. These results show that abstract skills provide dense supervision where group-relative rewards become uninformative.
• Abstract（参考訳）: 検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しい場合や、均一に間違っている場合、グループ相対的な信号は得られず、これは我々の実験におけるグループの63.0-68.0%を占める。 SKALD(Skill-Anchored Latent Distillation, SKALD)は,Qwen3-Baseモデルにおける2つのコンテキストビューを用いたオンライン自己蒸留フレームワークである。 学生は自身のプレフィックスでトレーニングを受け、テスト時に特権的な入力なしで、スキルによって引き起こされる利点を共有パラメータに転送する。 文脈依存性の分布ミスマッチを安定化させるために、SKALDは、教師が優先するトークンを非常に低い学生確率で減量するという、漸進的に傾斜した目標を用いており、傾きが消えると、教師のクロスエントロピーに収束し、前向きのKL学生勾配を回復する。 実証されたロールアウトが正の教師の利点を推定した場合のみ、実証ゲートが蒸留を活性化する。 5つのホールドアウト数学ベンチマークで、SKALDはGRPOの総 avg@8 を+2.46、+4.85、+12.01 でそれぞれ 0.6B、1.7B、4B で改善している。 1.7Bでは、ゼロ分散のみの蒸留が全利得の84.7%を回復し、SKALDはFLOPにマッチしたGRPOの4.06以上であり、文脈的スキル露出+3.77を超えている。 これらの結果から,抽象的スキルは集団相対報酬が非形式的になるような密集した監督を提供することが示された。

関連論文リスト

• On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers [0.0]
  我々は、強化学習のレンズを通してリランカー蒸留を再考する。 そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-09-01T23:36:19Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO [9.443660785229719]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論を改善するために広く用いられている。 本研究は,GRPO型RLVRに対する無回答自己蒸留法であるCASTを提案する。
  論文  参考訳（メタデータ） (2026-05-29T13:21:30Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Skill-Conditioned Gated Self-Distillation for LLM Reasoning [22.02868419200851]
  SD(On-policy Self-distillation)は、教師側特権情報(PI)を用いて、スパース検証結果を高密度トークンレベルの監視に変換することにより、LCM推論を改善する。 本研究では,非条件模擬ではなく,教師の仮説検証としてスキルベースSDを定式化するスキルコンディション付きゲート型自己蒸留(SGSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:49:52Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works [19.92945464084119]
  Group Relative Policy Optimization (GRPO) は、検証可能な報酬からの強化学習のための標準アルゴリズムである。 我々は、真の退化率は、常にジェンセンの不等式によるベルヌーイ予想を超えることを証明している。 固定参照符号の利点である$A=2r-1$は、グループ内の少なくとも1つのサンプルが成功する確率を高めて、pass@$G$失敗降下を実行することを示す。
  論文  参考訳（メタデータ） (2026-05-08T12:58:06Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。