論文の概要: Self-Distillation with Verbal Regularization

• arxiv url: http://arxiv.org/abs/2610.16354v1
• Date: Mon, 12 Oct 2026 08:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:17:25.199377
• Title: Self-Distillation with Verbal Regularization
• Title（参考訳）: 垂直正規化による自己蒸留
• Abstract要約: オンライン自己蒸留は、学生と同じモデルからインスタンス化された教師の監督を用いて、大きな言語モデルを訓練する。 PIは、限られた検証や再検討を伴うショートカット推論に対する偏見を、出力分布のエントロピーの急激な低下を伴うものとすることができる。 本稿では,教師がPIの使い方を制御するためにシステムプロンプトを利用する,言語正規化による自己蒸留(VRSD)を導入する。
• 参考スコア（独自算出の注目度）: 40.02730139840349
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: On-policy self-distillation (OPSD) trains a large language model using supervision from a teacher instantiated from the same model as the student. The teacher is conditioned on privileged information (PI), such as verified solutions. The student, which does not observe PI, learns from the teacher's next-token distributions along its own sampled responses. However, PI can bias supervision toward shortcut reasoning with limited verification or reconsideration, accompanied by a sharp drop in the entropy of the output distribution. To address this challenge, we introduce self-distillation with verbal regularization (VRSD), which uses system prompts to regulate how the teacher uses PI, thereby encouraging rethinking and exploration to counteract premature commitment. Theoretically, we model prompting as attenuating the influence of PI on the teacher distribution and derive conditions for entropy preservation. Across three models and four tasks, VRSD improves Pass@1 over OPSD in 11 of 12 model-task settings, by 3.9 percentage points on average, while generally maintaining higher token entropy.
• Abstract（参考訳）: On-policy Self-distillation (OPSD)は、学生と同じモデルからインスタンス化された教師の監督を用いて、大きな言語モデルを訓練する。 教師は、検証されたソリューションのような特権情報(PI)で条件付けされる。 PIを観察しない学生は、教師の次のトピックの分布から、自身のサンプル応答を学習する。 しかし、PIは、出力分布のエントロピーの急激な低下を伴う、限定的な検証や再検討を伴うショートカット推論に対するバイアス監督を行うことができる。 この課題に対処するために,教師がPIの使い方を規定するためにシステムプロンプトを利用する言語正規化(VRSD)による自己蒸留を導入し,早期のコミットメントに対処するために再考と探索を奨励する。 理論的には,PIの効果が教師の分布とエントロピー保存条件に及ぼす影響を弱めるようにモデル化する。 3つのモデルと4つのタスクで、VRSDは12のモデルタスク設定のうち11のOPSDよりもPass@1を平均3.9%改善し、トークンのエントロピーは平均3.9%向上した。

関連論文リスト

• E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation [31.08813672185829]
  On-policy self-distillation (OPSD) は、第2モデルなしで高密度なトークンレベルの監視を提供する。 E$2$-OPSDは、OPSDよりも平均4.3ポイントの数学推論を改善する。 E$2$-OPSDは依然として単純であり、追加のフォワードパスやネットワークは不要である。
  論文  参考訳（メタデータ） (2026-10-04T08:32:33Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning [41.384652481442735]
  我々は,一様教師模倣からエントロピー制御された指向性監視へと特権的な自己蒸留を再構成するtextbfDirection-Adaptive Self-Distillation (textbfDASD)を提案する。 6つの数学的推論ベンチマークで、DASDは強力なRLVRと自己蒸留ベースラインよりも優れたマクロAvg@16を達成する。
  論文  参考訳（メタデータ） (2026-05-21T10:07:46Z)
• The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes [10.319573084070578]
  オンライン蒸留(OPD)とオンライン自己蒸留(OPSD)は,大規模言語モデルのための有望なポストトレーニング手法として出現している。 我々は、OPDとOPSDがいつ機能するか、いつ機能しないのか、なぜ機能しないのかについて、総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2026-05-11T19:44:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。