論文の概要: Teach Me After You Learn It: Lookahead Self-Distillation for RLVR

• arxiv url: http://arxiv.org/abs/2610.18256v1
• Date: Tue, 13 Oct 2026 12:22:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:43:52.772166
• Title: Teach Me After You Learn It: Lookahead Self-Distillation for RLVR
• Title（参考訳）: RLVRの自己蒸留技術について学ぶ(動画あり)
• Abstract要約: オンライン自己蒸留はLLMの一般的な訓練パラダイムである。 既存のOPSDメソッドは、同一インスタンスの特権情報のみを監督する。 インスタンス間蒸留を導入したLookahead Self-Distillationを提案する。
• 参考スコア（独自算出の注目度）: 4.514591310435564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) has emerged as a popular training paradigm for LLMs, providing dense, token-level supervision by aligning a model's own distribution with the distribution induced by privileged information. However, existing OPSD methods derive supervision solely from privileged information of the same instance, leaving inter-instance supervision largely unexplored. We propose Lookahead Self-Distillation (LEAD), which introduces inter-instance distillation by allowing the teacher to first learn from other on-policy rollouts before teaching the student. LEAD constructs lookahead teachers through virtual RL updates on disjoint subsets of on-policy rollouts, and uses each teacher to provide cross-group token-level supervision for the other subset. To reconcile the complementary yet potentially conflicting signals from OPSD and RLVR, we introduce harmonious modulation, which adaptively modulates the GRPO advantage based on the agreement between the two signals. Extensive experiments on scientific reasoning and interactive-agent benchmarks show that LEAD achieves the best in-domain average performance across model scales while maintaining out-of-domain generalization comparable to GRPO.
• Abstract（参考訳）: オンライン自己蒸留(OPSD)は、LLMの一般的な訓練パラダイムとして現れ、特権情報によって誘導される分布とモデル自身の分布を整合させることにより、密集したトークンレベルの監督を提供する。 しかし、既存のOPSDメソッドは、同一インスタンスの特権情報のみを監督し、インスタンス間の監視はほとんど未調査のままである。 本研究では,学生に教える前に,教師が他のオンラインロールアウトから学べるようにすることで,インスタンス間蒸留を導入するLookahead Self-Distillation (LEAD)を提案する。 LEADは、オンラインのロールアウトの分離されたサブセットの仮想RLアップデートを通じてルックアヘッドの教師を構築し、各教師を使用して、他のサブセットに対するクロスグループトークンレベルの監視を提供する。 OPSDとRLVRの相補的かつ潜在的に矛盾する信号の整合を図るため,両信号間の一致に基づいてGRPOの優位性を適応的に変調する調和変調を導入する。 科学的推論と対話型エージェントベンチマークの広範な実験により、LEADはGRPOに匹敵する領域外一般化を維持しながら、モデルスケール全体で最高のドメイン内平均性能を達成することが示された。

関連論文リスト

• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Learning from the Self-future: On-policy Self-distillation for dLLMs [26.01772590639938]
  私たちは、dLLM用に調整された最初のOPSDフレームワークであるd-OPSDを紹介します。 まず,自己生成型回答を接尾辞条件として用いることで,自己学習者構築を再構築する。 第二に、トークンレベルからステップレベルへと監督をシフトし、dLLMの反復的認知プロセスとトレーニングを整合させる。
  論文  参考訳（メタデータ） (2026-06-16T17:24:57Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Dual Teacher-Student Learning for Semi-supervised Medical Image Segmentation [8.973740026954394]
  半教師付き学習は、医用画像のセグメンテーションにおいて、コストのかかる手作業によるアノテーションの負担を軽減する。 一般的なアプローチは平均教師戦略(MT)であり、時間平均教師モデルを用いて整合正則化を適用する。 本研究では,MT戦略を教師あり学習の文脈における自己評価学習の一形態として再解釈する。 本稿では,教師の予測と基礎的真理の一致が暗黙的にモデルを暗黙的に指導する2つの教師学生学習(DTSL)を提案する。
  論文  参考訳（メタデータ） (2025-05-16T09:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。