論文の概要: TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment

• arxiv url: http://arxiv.org/abs/2609.33426v1
• Date: Sun, 27 Sep 2026 10:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 17:03:23.584143
• Title: TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment
• Title（参考訳）: TeacherGRPO:教師アライメントによる蒸留反応における容量ギャップの閉鎖
• Abstract要約: 強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
• 参考スコア（独自算出の注目度）: 70.40748464576045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning distillation from powerful teacher models to smaller students faces the Gap Curse: as teachers grow more sophisticated, their complex distributions increasingly diverge from what students can approximate, causing performance degradation. Existing mitigation strategies either filter out challenging examples through data selection or introduce weaker intermediate assistant models, inherently compromising supervision coverage or quality. We propose Teacher Alignment, which directly adapts the teacher toward the student's distribution without discarding data or degrading reasoning quality. However, naive alignment through standard knowledge distillation triggers catastrophic collapse of the teacher's reasoning capabilities. To address this, we reformulate teacher alignment as reinforcement learning and introduce TeacherGRPO, built on Group Relative Policy Optimization with two key innovations: (i) Curriculum Selective Alignment applies dual token- and distribution-level curricula to focus rewards on high-signal reasoning gaps while filtering noise from trivial tokens and uncertain tail distributions, and (ii) Importance-Adaptive Length Regularization selectively penalizes verbose redundancy while preserving pedagogically critical reasoning steps. The aligned teacher then distills knowledge to students via standard pipelines. Extensive experiments show TeacherGRPO significantly outperforms baselines across diverse reasoning benchmarks and distillation methods. Our code is available at https://github.com/LzyFischer/TeacherGRPO.
• Abstract（参考訳）: 教師が高度に成長するにつれて、その複雑な分布は学生が近似できるものから分離し、パフォーマンスが低下する。 既存の緩和戦略は、データ選択を通じて難しい例をフィルタリングするか、より弱い中間アシスタントモデルを導入し、本質的に監督のカバレッジや品質を損なう。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。 しかし、標準的な知識の蒸留による直感的なアライメントは、教師の推論能力の壊滅的な崩壊を引き起こす。 これを解決するために,教師のアライメントを強化学習として再構築し,グループ相対的政策最適化に基づくTeacherGRPOを導入する。 一 自明なトークン及び不確実なテール分布からノイズを除去しつつ、高信号の推論ギャップに報酬を集中させるために二重トークン及び分布レベルのカリキュラムを適用すること。 (二)重要度適応長規則化は、教育学的に重要な推論ステップを維持しつつ、動詞の冗長性を選択的に罰する。 教師はその後、標準的なパイプラインを通して生徒に知識を蒸留する。 広範囲な実験により、TeacherGRPOは様々な推論ベンチマークと蒸留法でベースラインを著しく上回っている。 私たちのコードはhttps://github.com/LzyFischer/TeacherGRPO.comで公開されています。

関連論文リスト

• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Distribution Corrected Offline Data Distillation for Large Language Models [8.778789513095907]
  強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。 教師が生成したトレースからのオフライン蒸留は、高品質でサンプル効率の高い監視を提供するが、分散的ドリフトに悩まされる。 そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T19:47:31Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。