論文の概要: VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2608.28306v1
- Date: Fri, 28 Aug 2026 13:10:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.337583
- Title: VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation
- Title（参考訳）: VISTA:オンライン自己蒸留のための検証学習者から教師への適応
- Abstract要約: オンラインの自己蒸留は、特権のある教師から密集したトークンレベルの監督を用いて、問題のみの学生を自身のロールアウトで訓練することで推論を改善する。
標準OPSDは、教師の配当を学生のロールアウトに沿った固定的ターゲットとして扱い、生徒の%のみを更新するが、特権条件付けは教師が常に問題のみの推論に対して最も適切なターゲットを提供することを保証しない。
本稿では,教師を学生分布に適応させるために,結果検証ロールアウトを使用しながら,標準のOPSD学生更新を保存するVerifier-Informed Students-to-Teacher Adaptation (VISTA)を紹介する。
- 参考スコア（独自算出の注目度）: 19.198000863807316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) improves reasoning by training a problem-only student on its own rollouts using dense token-level supervision from a privileged teacher that also sees a reference solution. However, standard OPSD treats the teacher distribution as a fixed target along the student's rollout and updates only the student %, although -- even though privileged conditioning does not guarantee that the teacher always provides the most appropriate target for problem-only reasoning. This one-way supervision can therefore misdirect the student when the teacher distribution is misaligned with valid student reasoning. We therefore introduce Verifier-Informed Student-to-Teacher Adaptation (VISTA), which preserves the standard OPSD student update while using outcome-verified rollouts to adapt the teacher toward the student distribution. Within each verified rollout, VISTA further restricts this adaptation to the top-$k$ positions with the largest teacher--student KL divergence. Notably, VISTA reuses the rollout and loss function from standard OPSD, introducing no additional sampling or separate reward objective. Across AIME24, AIME25, and HMMT25 with Qwen3 models at 1.7B, 4B, and 8B, VISTA achieves the highest Avg@12 at every scale, improving over OPSD by $0.6$, $0.7$, and $2.1$ points, respectively. These results demonstrate the value of student supervision from outcome-verified rollouts and highlight student-to-teacher adaptation as a promising direction for OPSD.
- Abstract（参考訳）: On-policy Self-distillation (OPSD) は、自己のロールアウトで問題のみの学生を訓練することで推論を改善する。
しかし、標準的なOPSDは、教師の配当を生徒のロールアウトに沿った固定的目標として扱い、生徒の%だけを更新する。
この片道指導は、教師分布が有効な学生推論と不一致である場合に、生徒を誤指示することができる。
そこで本研究では,教師を学生分布に適応させるために,結果検証ロールアウトを使用しながら,標準のOPSD学生更新を保存するVerifier-Informed Students-to-Teacher Adaptation (VISTA)を導入する。
検証された各ロールアウトの中で、VISTAは、この適応をさらに制限し、最大の教師である学生KL分岐を持つ上位$kのポジションに制限する。
特に、VISTAは標準OPSDからのロールアウトとロス機能を再利用し、追加のサンプリングや報酬の目的の分離は導入しない。
AIME24、AIME25、HMMT25のQwen3モデルは1.7B、4B、8Bで、VISTAは各スケールで最高Avg@12を達成し、OPSDを0.6$、0.7$、および2.1$ポイントで改善した。
これらの結果から, 学生指導の成果検証から, OPSDの有望な方向性として, 学生から教師への適応が強調された。
関連論文リスト
- DualOPSD: Adaptive Privileged Teachers for On-Policy Self-Distillation [11.771522030770228]
On-policy Self-distillation (OPSD) は、学生モデルの特権的なコピーを使用して、外部教師がいなくても、厳密な監督を提供する。
両ポリシーを適応する非対称交互化フレームワークであるDualOPSDを提案する。
論文 参考訳（メタデータ） (2026-08-26T17:01:21Z) - PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。
PAST(Privleged Adaptation from Students Trajectories)を紹介する。
PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
論文 参考訳（メタデータ） (2026-08-09T14:20:12Z) - Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models [23.382646724389545]
オンライン蒸留(OPD)は、現在の学生政策の軌跡をサンプリングし、学生と教師の次点分布のトークンレベルのばらつきを最小限にする。
本稿では,ローカルで実現可能な教師の訂正のみを蒸留するemphFisher-Projected On-Policy Distillation (FP-OPD)を提案する。
論文 参考訳（メタデータ） (2026-08-02T14:16:14Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。
既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。
そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-05-20T18:14:03Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。