論文の概要: How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.04950v1
• Date: Sun, 04 Oct 2026 04:49:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:38:01.459995
• Title: How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation
• Title（参考訳）: 教員はどのように準備すべきか? : 学生によるオンライン蒸留の実態調査から
• Abstract要約: 本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。 Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
• 参考スコア（独自算出の注目度）: 16.233057265893994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) improves the reasoning capabilities of small language models through token-level teacher supervision on student-generated trajectories. Yet can teachers that excel at solving problems independently also guide student reasoning effectively? Prior work shows that when student prefixes follow reasoning paths that differ from the teacher's own or contain errors, teachers can be less accurate when continuing from these prefixes than when solving problems independently. To this end, we propose Prep-OPD, which uses reinforcement learning (RL) before distillation to train the teacher to adapt to the student's existing reasoning state and correct course when errors arise. Training optimizes teacher continuations from fixed student prefixes using final-answer correctness as the reward. The prepared teacher then trains the student through trajectory guidance and token-level supervision. We evaluate Prep-OPD on eight mathematical reasoning benchmarks, using Qwen3-4B-Instruct-2507 as the teacher and Qwen3-0.6B and Qwen3-1.7B as students. With the 4B teacher and 1.7B student, Prep-OPD improves average accuracy over standard OPD and the strongest baseline, Relay-OPD, by 8.28 and 2.30 percentage points, respectively. Controlled experiments further show that teacher RL conditioned on student-generated prefixes yields higher student accuracy than problem-start teacher RL with and without handoff on Qwen3-1.7B. Reusing the same prepared teacher also improves Qwen3-0.6B.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡のトークンレベルの教師監督を通じて、小規模言語モデルの推論能力を向上させる。 しかし、個別の問題解決に長けた教師は、生徒の推論を効果的に導くことができるのか? 先行研究は、学生の接頭辞が教師自身と異なる推論経路に従う場合や、誤りを含む場合、これらの接頭辞を継続する場合、問題を個別に解く場合よりも、教師が正確でないことを示す。 そこで本研究では, 蒸留前の強化学習(RL)を用いて, 生徒の既存の推論状態に適応し, 誤り発生時の正しいコースを指導するPrep-OPDを提案する。 トレーニングは、最終回答の正しさを報奨として、固定された学生接頭辞からの教師継続を最適化する。 準備された教師は、軌道案内とトークンレベルの監督を通じて学生を訓練する。 Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。 4Bの教師と1.7Bの学生で、Prep-OPDは標準OPDと最強のベースラインであるRelay-OPDの平均精度をそれぞれ8.28と2.30ポイント向上させる。 さらに、学生生成プレフィックスに条件付けされた教師RLは、Qwen3-1.7Bに手を加えない問題開始教師RLよりも高い生徒精度が得られることを示す。 同じ準備された教師を再利用することでQwen3-0.6Bも改善される。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
  bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-18T11:00:44Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• Pass the Baton: Trajectory-Relayed On-Policy Distillation [23.50689651536186]
  オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。 Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。 トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:46Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。