論文の概要: Ask to Distill: Learning to Synthesize Data for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.27450v1
• Date: Tue, 20 Oct 2026 01:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.575608
• Title: Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
• Title（参考訳）: Ask to Distill: オンライン蒸留のためのデータの合成を学ぶ
• Abstract要約: オンライン蒸留(OPD)は驚くほど少ないトレーニングで成功する。 新たに生成した質問が蒸留に有用かどうかをどうやって評価できるのか? Ask-to-Distill は,合成質問を分散エリケータとして扱うフレームワークである。
• 参考スコア（独自算出の注目度）: 36.69198549492555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) can succeed with surprisingly few training questions, motivating a view of questions as carriers of distributional knowledge transfer. How can we assess whether a newly generated question is valuable for distillation, and learn to generate better questions---without access to its correct answer? We introduce Ask-to-Distill (\method), a framework that treats synthetic questions as distribution elicitors and optimizes the teacher supervision they expose along student-generated trajectories. A student-initialized synthesizer is optimized using a distributional surrogate for question value, computed from a frozen student--teacher pair without reference answers, correctness rewards, or per-candidate student updates. The reward combines teacher--student disagreement with teacher probability mass on the student's candidate support, together with length and diversity controls. The generated questions are filtered and deduplicated into a prompt-only bank for standard OPD. Across mathematical reasoning, code generation, and agentic tasks, our method improves average performance and teacher-gap recovery over unoptimized student-generated prompts and KL-filtered real questions, while matching or exceeding real-bank OPD in the evaluated settings. Signal analyses further show that optimized questions can elicit denser supervision and more total signal from shorter student responses, supporting elicited distributional supervision as an objective for synthetic distillation data. Our code, data and models are publicly available at https://github.com/GasolSun36/Ask_to_Distill.
• Abstract（参考訳）: オンライン蒸留(OPD)は驚くほど少ないトレーニング質問で成功し、分散知識伝達のキャリアとしての疑問の見方を動機付けている。 新たに生成した質問が蒸留に有用かどうかをどうやって評価し、より良い質問を生成することを学べるか。 Ask-to-Distill (\method) は, 学生が生み出す軌跡に沿って, 教師が提示する教師の指導を最適化するフレームワークである。 生徒の初期化シンセサイザーは、参照回答、正当性報酬、または学生毎の更新を伴わず、凍結した生徒対から計算された質問値の分布的サロゲートを用いて最適化される。 この報酬は、教師の不一致と、学生の候補者支援に関する教師の確率の質量、長さと多様性の制御を組み合わせたものである。 生成された質問はフィルタリングされ、標準PDのためにプロンプトのみの銀行に重複される。 提案手法は,数学的推論,コード生成,エージェント的タスク全体にわたって,最適化されていない学生が生成するプロンプトとKLをフィルタリングした実際の質問に対する平均的なパフォーマンスと教師ギャップの回復を改善し,評価された設定において実際のバンクOPDをマッチングまたは超過する。 さらに, 信号分析により, より厳密な監視と, より短い生徒の反応から, より詳細な信号の抽出が可能であることが示唆された。 私たちのコード、データ、モデルはhttps://github.com/GasolSun36/Ask_to_Distill.comで公開されています。

関連論文リスト

• K2P: Label-Free Knowledge to Prompt Distillation [5.856304595051761]
  ラベルフリーな知識蒸留のためのK2P(Knowledge-to-Prompt)をプロンプトに導入する。 K2Pは、教師ソリューションから再利用可能な命令を合成し、ペア化された教師と学生の反応を用いてそれらを洗練し、回答合意による探索と選択をガイドする。
  論文  参考訳（メタデータ） (2026-09-30T03:45:19Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。