論文の概要: Correcting or Continuing? What On-Policy Distillation Learns from Student Errors

• arxiv url: http://arxiv.org/abs/2610.18011v1
• Date: Tue, 13 Oct 2026 09:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.570926
• Title: Correcting or Continuing? What On-Policy Distillation Learns from Student Errors
• Title（参考訳）: 訂正・継続? 学生の誤りから学ぶオンライン蒸留
• Abstract要約: オンライン蒸留(On-policy distillation、OPD)は、学生を凍結教師の下で自前のロールアウトで訓練し、非政治監督の流通ミスマッチを緩和する。 Qwen-3 と Phi-4 モデルを用いた 5 つの代表 OPD 機構を統一的な競合数学プロトコルで評価した。 トレーニングKLのばらつきが持続的に低下しているにもかかわらず,ほとんどのメカニズムは性能を劣化させ,OPDはハードサブセットの精度を向上しないことがわかった。 対照的に、同じパイプラインは、トレーニングが障害に集中していない場合の精度を4.6ポイント向上させる。
• 参考スコア（独自算出の注目度）: 25.947529576014006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own rollouts under a frozen teacher, mitigating the distribution mismatch of off-policy supervision. While prior work has primarily trained on problems a student can largely solve, we ask whether OPD can improve a student when training is restricted to problems it currently fails. We evaluate five representative OPD mechanisms with Qwen-3 and Phi-4 models under a unified competition-mathematics protocol. We find that OPD does not improve accuracy on this hard subset, with most mechanisms instead degrading performance despite continued decreases in training KL divergence. All eight configurations show a decline, and the two-sided sign test gives p=0.0078. In contrast, the same pipeline improves accuracy by 4.6 percentage points when training is not concentrated on failures, showing that the failure is conditional on the training regime rather than systematic. These findings suggest that OPD is effective when supervision is dominated by correct student prefixes, but can reinforce existing errors when training is concentrated on problems the student currently fails.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生を凍結教師の下で自前のロールアウトで訓練し、非政治監督の流通ミスマッチを緩和する。 これまでの作業は主に、学生がほとんど解決できる問題に基づいてトレーニングされてきたが、現在失敗している問題に制限された場合、PDが学生を改善できるかどうかを問う。 我々は,Qwen-3およびPhi-4モデルを用いた5つの代表的PD機構を,統一的な競合数学プロトコルの下で評価した。 トレーニングKLのばらつきが持続的に低下しているにもかかわらず,ほとんどのメカニズムは性能を劣化させ,OPDはハードサブセットの精度を向上しないことがわかった。 8つの構成はいずれも低下を示し、両側のサインテストではp=0.0078が与えられる。 対照的に、同じパイプラインは、トレーニングが障害に集中していない場合の精度を4.6ポイント向上させる。 これらの結果から, OPDは, 学生の正しい接頭辞が支配される場合には有効であるが, 学生が現在失敗している問題に集中している場合には, 既存の誤りを補強できる可能性が示唆された。

関連論文リスト

• Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
  自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。 我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。 OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
  論文  参考訳（メタデータ） (2026-09-27T04:38:41Z)
• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。