論文の概要: One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.30880v1
• Date: Thu, 22 Oct 2026 07:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.275653
• Title: One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation
• Title（参考訳）: 一人の教師, 多くの視点:オンポリシィ自己蒸留における基準感度の低減
• Abstract要約: オンライン自己蒸留は、参照ソリューションに条件付けされた特権コピーから、高濃度のトークンレベルの監督を施した独自の軌道上でモデルをトレーニングすることで、推論を改善する。 問題と生徒の状態を固定しながら、有効な参照を別の参照に置き換えることで、教師の分布を著しく変化させることができることを示す。
• 参考スコア（独自算出の注目度）: 4.277471273303775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) improves reasoning by training a model on its own trajectories with dense token-level supervision from a privileged copy conditioned on a reference solution. Existing methods typically use a single teacher distribution conditioned on the complete reference. We identify a limitation of this formulation: a reference is only one realization of the reasoning process. Although it provides evidence about the answer, it also encodes an ordering, phrasing, and solution path. Full-reference conditioning can therefore produce correct targets that depend excessively on information unavailable to the student at inference. We show that replacing one valid reference with another, while holding the problem and student state fixed, can substantially alter the teacher distribution, a phenomenon we call reference-induced target instability. To address this instability, we introduce Monte Carlo Privileged Distillation (MCPD), which models privileged context as a distribution over partial reference views and distills the marginal teacher distribution. MCPD evaluates the teacher under multiple views and averages the resulting next-token distributions. We show that this probability-space average is the exact target induced by minimizing the expected teacher-to-student KL divergence over privileged views. Across mathematical and scientific reasoning benchmarks, we show that MCPD produces more reference-consistent supervision and consistently improves over full-reference OPSD.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、参照ソリューションに条件付けられた特権コピーから、高濃度のトークンレベルの監督を伴う独自のトラジェクトリ上でモデルをトレーニングすることで、推論を改善する。 既存の方法は通常、完全な参照で条件付けられた単一の教師分布を使用する。 我々はこの定式化の限界を同定し、参照は推論過程の1つの実現である。 答えに関する証拠を提供するが、順序付け、言い換え、解法経路も符号化する。 したがって、完全な参照条件付けは、推論時に学生が利用できない情報に過度に依存する正確なターゲットを生成することができる。 問題と生徒の状態を固定しながら、有効な基準を別の基準に置き換えることによって、教師の分布を著しく変化させることが示され、これは基準誘導的目標不安定(conference-induced target instability)と呼ばれる現象である。 この不安定性に対処するため,モンテカルロプリビレゲッド蒸留法 (MCPD) を導入し, 特権的文脈を部分参照ビュー上の分布としてモデル化し, 限界教師分布を蒸留する。 MCPDは教師を複数の視点で評価し、その結果の次点分布を平均化する。 この確率空間平均は、特権的な視点よりも期待される教師から学生へのKLの偏差を最小化することによって引き起こされる正確な目標であることが示される。 数学および科学的推論ベンチマーク全体を通して、MCPDはより参照一貫性のある監視を行い、完全な参照OPSDよりも一貫して改善されていることを示す。

関連論文リスト

• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
  言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
  論文  参考訳（メタデータ） (2026-09-28T15:20:35Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。