論文の概要: Learning from a Thoughtful Teacher: Adaptive On-Policy Self-Distillation for Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2609.32667v1
- Date: Sat, 26 Sep 2026 14:23:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 21:28:28.416872
- Title: Learning from a Thoughtful Teacher: Adaptive On-Policy Self-Distillation for Mathematical Reasoning
- Title（参考訳）: 思慮深い教師から学ぶ:数理推論のための適応的オンポリシィ自己蒸留
- Abstract要約: On-policy Self-distillation (OPSD)は、教師からのトークンレベルのフィードバックで質問専用学生を訓練し、訓練専用特権情報(PI)を付与する。
予備診断では, 学生の学習能力と教師の効用との間に有意な差があることが示唆された。
本稿では,教師がどのような情報を受け取り,そのフィードバックが学習に与える影響を強く評価する適応型オンライン自己蒸留(AOPSD)を提案する。
- 参考スコア（独自算出の注目度）: 8.090139988796041
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) trains a question-only student with token-level feedback from a teacher given training-only privileged information (PI). OPSD therefore provides dense, on-policy supervision, and is free of a larger external teacher, but its effectiveness rests on how PI is designed and utilized. Our preliminary diagnostics suggest a significant gap between teacher utility and student learnability, where a small fraction of high-disagreement tokens dominate the distillation signal, and short teacher continuations at these positions further expose more explicit PI leakage than transferable correction cues, indicating a strong intent on injecting PI-conditioned shortcuts. We propose Adaptive On-Policy Self-Distillation (AOPSD), which adapts what information the teacher receives and how strongly its feedback influences learning. AOPSD encodes each solution as a reasoning DAG, orders problems by the student's evolving capability, and reveals only the affordable subgraph and its next frontier as PI. For high-disagreement tokens, AOPSD utilizes short teacher continuations as probes to encourage useful guidance while mitigating PI-conditioned shortcuts among teacher supervisions. On HMMT25, AIME24, AIME25, and BRUMo25, AOPSD achieves 72.5% Pass@8, which is 6.7 percentage points above OPSD and 4.2 above the strongest competing baseline while reducing 15 percentage points of training time at lower cost.
- Abstract（参考訳）: On-policy Self-distillation (OPSD)は、教師からのトークンレベルのフィードバックで質問専用の学生を訓練する。
したがってOPSDは、密集した、政治上の監督を提供し、より大きな外部教師を伴わないが、その効果はPIの設計と利用の仕方に依存している。
予備診断では, 短時間の高分解トークンが蒸留信号を支配し, 短時間の教師の継続により, PI条件のショートカットを注入する強い意図が示され, PIの漏洩がより明らかになることが示唆された。
本稿では,教師がどのような情報を受け取り,そのフィードバックが学習に与える影響を強く評価する適応型オンライン自己蒸留(AOPSD)を提案する。
AOPSDは、各ソリューションを推論DAGとしてエンコードし、生徒の進化能力によって問題を注文し、安価なサブグラフと次のフロンティアのみをPIとして公開する。
高分解率トークンでは、教師の監督下でPI条件のショートカットを緩和しながら有用な指導を促すために、短い教師継続をプローブとして利用する。
HMMT25、AIME24、AIME25、BRUMo25では、AOPSDは72.5%のPass@8を達成した。
関連論文リスト
- Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。
決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。
このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。
本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-28T16:09:06Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。
我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。
OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
論文 参考訳（メタデータ） (2026-09-27T04:38:41Z) - TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。
単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。
TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
論文 参考訳（メタデータ） (2026-09-25T06:37:02Z) - Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。
既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。
そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-05-20T18:14:03Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes [10.319573084070578]
オンライン蒸留(OPD)とオンライン自己蒸留(OPSD)は,大規模言語モデルのための有望なポストトレーニング手法として出現している。
我々は、OPDとOPSDがいつ機能するか、いつ機能しないのか、なぜ機能しないのかについて、総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2026-05-11T19:44:59Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。