論文の概要: Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2608.09228v1
- Date: Mon, 10 Aug 2026 07:51:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.133291
- Title: Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation
- Title（参考訳）: プライヴィグド・ソリューションと文脈誘発型教師行動 : オン・ポリティィ・セルフ蒸留の分離
- Abstract要約: On-Policy Self-Distillation (OPSD) は、一般的に特権情報の転送と解釈される。
ターゲット固有の特権を$mathrmOP2mathrmSD$で検討する。
- 参考スコア（独自算出の注目度）: 6.053609157192373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-Policy Self-Distillation (OPSD) is commonly interpreted as the transfer of privileged information: a teacher observes the verified solution to the target problem and supervises the student's trajectory. However, this interpretation conflates two effects. The reference solution not only reveals the answer to the current instance but also changes the context under which the teacher provides token-level supervision. We investigate the role of target-specific privilege with $\mathrm{OP}^{2}\mathrm{SD}$ (On-Policy Self-Distillation from Other Problems), which replaces the paired reference with a problem and solution from a different example, while preserving the student rollout, teacher, and distillation objective. Across three models and three mathematics benchmarks, $\mathrm{OP}^{2}\mathrm{SD}$ improves over the base model, remains competitive with OPSD. The success of $\mathrm{OP}^{2}\mathrm{SD}$ implies that OPSD gains do not necessarily come from access to the reference solution, and that the teacher's context-induced behavior is an important factor.
- Abstract（参考訳）: On-Policy Self-Distillation (OPSD) は、教師が目標問題に対する検証された解決策を観察し、生徒の軌道を監督する、特権情報の転送として一般的に解釈される。
しかし、この解釈は2つの効果を混同している。
リファレンスソリューションは、現在のインスタンスに対する回答だけでなく、教師がトークンレベルの監視を提供するコンテキストも変更します。
我々は,学生のロールアウト,教師,蒸留の目的を保ちつつ,対の参照を問題と解に置き換える,$\mathrm{OP}^{2}\mathrm{SD}$ (On-Policy Self-Distillation from Other Problems) による目標固有特権の役割について検討する。
3つのモデルと3つの数学ベンチマーク、$\mathrm{OP}^{2}\mathrm{SD}$はベースモデルよりも改善され、OPSDと競合する。
$\mathrm{OP}^{2}\mathrm{SD}$の成功は、OPSDゲインが必ずしも参照ソリューションへのアクセスからではなく、教師のコンテキストによって引き起こされる振る舞いが重要な要素であることを意味する。
関連論文リスト
- Rethinking Privileged Information in On-Policy Self-Distillation [45.88028371034407]
On-policy Self-distillation (OPSD)は、特権的参照情報に基づく同じモデルからトークンレベルの監督を使用して、学生に独自の反応を訓練する。
本研究は,OPSDによる性能向上が,学習者が参照中の情報を学習したことを示すか,あるいはベースモデルにすでに存在する推論行動の回復を反映しているかを検討する。
論文 参考訳（メタデータ） (2026-08-18T19:42:16Z) - Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation [7.759584418408814]
On-policy self-distillation (OPSD) は、特権付きコンテキストをモデルパラメータに内部化することにより、LLMの推論能力を向上させる。
ラグランジアンを解くための軽量オンラインアルゴリズムであるUnified On-Policy Self-Distillation (USD)を提案する。
USDは、様々なモデルスケールでOPSDやトークンやPI側のベースラインよりも優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-08-08T15:13:07Z) - Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning [17.645367206348222]
オンライン自己蒸留は、参照ソリューションに条件付けられたモデルの特権ビューを使用して、質問のみを観察する学生の視点を監督することにより、推論を改善する。
本稿では,初期状態,目標条件,制約条件,選択された状態遷移経路を記述したトラジェクトリ・グラウンドのガイダンスで,完全な解法を置き換えた問題空間誘導OPSD(PS-OPSD)を提案する。
論文 参考訳（メタデータ） (2026-08-03T01:47:25Z) - $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - Weak-to-Strong On-Policy Distillation [21.651421588571296]
Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。
4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
論文 参考訳（メタデータ） (2026-07-28T20:31:48Z) - Visual Contrastive Self-Distillation [61.298159957622886]
本稿では,視覚的コントラスト自己蒸留法を提案する。
これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
論文 参考訳（メタデータ） (2026-07-23T17:37:37Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。
我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-06-03T09:08:29Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。