論文の概要: Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2611.03133v1
• Date: Mon, 02 Nov 2026 13:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.605911
• Title: Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation
• Title（参考訳）: 学生がどこにいるか: 教師のオンライン蒸留への適応
• Abstract要約: 学生予科教員適応(SPTA)は、蒸留中に質問される州に教師を適応させる。 数式推論ベンチマーク実験により,タスクレベルRLVR適応教師による標準PDとOPDよりもSPTAの方が平均的な学生成績を向上させることが示された。
• 参考スコア（独自算出の注目度）: 79.69506233995021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) mitigates the student's exposure bias by optimizing on student-generated trajectories. However, student-generated prefixes may contain reasoning errors or follow patterns unfamiliar to the teacher, undermining the reliability of its token-level supervision. This degradation becomes more pronounced as prefixes grow longer. To address this teacher-side distribution mismatch, we propose Student-Prefix Teacher Adaptation (SPTA), which adapts the teacher to the states on which it is queried during distillation. Specifically, before OPD starts, we collect student rollout prefixes with random lengths and continually train the teacher to continue from the prefixes using reinforcement learning with verifiable rewards (RLVR). By treating each prefix as context and rewarding correct final answers, the teacher learns to recover from student-induced states rather than imitate the student's reasoning. Then, the adapted teacher is used for standard OPD, with no changes to the distillation objective. Experiments on mathematical reasoning benchmarks show that our SPTA improves average student performance over standard OPD and OPD with task-level RLVR-adapted teachers. These results highlight the importance of adapting teachers not only to solve problems independently, but also to provide reliable guidance on the states their students actually visit.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡を最適化することによって、学生の露出バイアスを緩和する。 しかし、学生が生成した接頭辞には推論エラーや教師に馴染みのないパターンが含まれており、トークンレベルの監督の信頼性を損なう可能性がある。 この劣化は、接頭辞が長くなるにつれてより顕著になる。 この教師側の分布ミスマッチに対処するため, 蒸留中に質問される状態に適応したSPTA(Student-Prefix Teacher Adaptation)を提案する。 具体的には, OPD開始前は, ランダム長の学生ロールアウト接頭辞を収集し, 教師に対して, 検証可能な報酬(RLVR)を用いた強化学習を用いて, 接頭辞を継続するよう継続的に指導する。 各接頭辞を文脈として扱い、正しい最終回答を報いることにより、教師は学生の推論を模倣するのではなく、学生が引き起こした状態から回復することを学ぶ。 そして、適応された教師は、蒸留目標を変更することなく標準PDに使用される。 数式推論ベンチマーク実験により,タスクレベルRLVR適応教師による標準PDとOPDよりもSPTAの方が平均的な学生成績を向上させることが示された。 これらの結果は,教師が個別に問題解決を行うだけでなく,生徒が実際に訪れている州について信頼性の高い指導を行うことの重要性を強調している。

関連論文リスト

• ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation [49.1911535337669]
  オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。 そこで本稿では, 教師指導を改善するために, オンライン蒸留(ATI-OPD)のテキストbf教師介入を提案する。
  論文  参考訳（メタデータ） (2026-10-28T02:00:26Z)
• How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation [16.233057265893994]
  本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。 Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
  論文  参考訳（メタデータ） (2026-10-04T04:49:24Z)
• On the Off-Policy Teacher in On-Policy Distillation [18.925850684279197]
  SCOUT(Student-Conditioned Updates of the Teacher)は、教師を学生が作成したプレフィックスに適応させる学習フレームワークである。 SCOUTは,学生が生成した接頭辞から継続する教師の能力を向上し,学生条件の教師適応の意図したメカニズムを支持する。
  論文  参考訳（メタデータ） (2026-09-29T18:22:05Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
  On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。 PAST(Privleged Adaptation from Students Trajectories)を紹介する。 PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
  論文  参考訳（メタデータ） (2026-08-09T14:20:12Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。