論文の概要: Fast and Effective On-policy Distillation from Reasoning Prefixes

• arxiv url: http://arxiv.org/abs/2602.15260v1
• Date: Mon, 16 Feb 2026 23:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.93941
• Title: Fast and Effective On-policy Distillation from Reasoning Prefixes
• Title（参考訳）: 補修プレフィックスの迅速かつ効果的なオンライン蒸留法
• Abstract要約: オンライン蒸留(OPD)は学生モデルの軌跡を抽出し、トークンレベルで教師と監督する。 そこで本研究では, 学生生成出力のプレフィックスのみに蒸留目標を適用し, 蒸留の早期に各サンプリングを終了する, 簡易かつ効果的なPDの修正を提案する。 AI-for-Mathベンチマークとアウト・オブ・ベンチマークの実験では、オンラインプレフィックス蒸留はフルPDのパフォーマンスと一致し、FLOPのトレーニングを2倍-47倍削減した。
• 参考スコア（独自算出の注目度）: 5.0200371345178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD), which samples trajectories from the student model and supervises them with a teacher at the token level, avoids relying solely on verifiable terminal rewards and can yield better generalization than off-policy distillation. However, OPD requires expensive on-the-fly sampling of the student policy during training, which substantially increases training cost, especially for long responses. Our initial analysis shows that, during OPD, training signals are often concentrated in the prefix of each output, and that even a short teacher-generated prefix can significantly help the student produce the correct answer. Motivated by these observations, we propose a simple yet effective modification of OPD: we apply the distillation objective only to prefixes of student-generated outputs and terminate each sampling early during distillation. Experiments on a suite of AI-for-Math and out-of-domain benchmarks show that on-policy prefix distillation matches the performance of full OPD while reducing training FLOP by 2x-47x.
• Abstract（参考訳）: 学生モデルから軌跡を抽出し、トークンレベルで教師と監督するオンライン蒸留(OPD)は、検証可能な終末報酬のみに頼ることを避け、外部蒸留よりもより良い一般化をもたらすことができる。 しかし、OPDは訓練中の学生政策のサンプリングに費用がかかるため、特に長時間の反応において、トレーニングコストを大幅に上昇させる。 初期分析の結果, OPD中は, 学習信号が各出力の接頭辞に集中することが多く, 教師が生成した短い接頭辞でも, 学生が正しい回答を得られることが示唆された。 本研究の目的は, 学生出力の接頭辞にのみ蒸留対象を適用し, 蒸留の早期に各サンプリングを終了させることである。 AI-for-Mathベンチマークとアウト・オブ・ベンチマークの実験では、オンラインプレフィックス蒸留はフルPDのパフォーマンスと一致し、FLOPのトレーニングを2倍-47倍削減した。

関連論文リスト

• Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation [17.01350720731129]
  影響指向型適応型オンポリシィ蒸留(IDA-OPD)を提案する。 IDA-OPDはエントロピー適応型更新を保存し、エントロピー圧縮型更新をばらつき拡大による利点縮小に置き換える。 推論指向蒸留の実験では、IDA-OPDはパス@k$を一貫して改善し、蒸留を通じて教師の多様性を継承する。
  論文  参考訳（メタデータ） (2026-08-30T15:22:46Z)
• RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation [38.215412661414604]
  効率的なテキスト・ツー・イメージ生成には、強化学習(RL)ベースの報酬アライメントと数ステップの蒸留が必要である。 本稿では,REST (Reward-Enhanced Scored-Trajectory Distillation) を提案する。 私たちは、RESTが40ステップのRL教師と一致するか、または超えるCFGフリーな推論を可能にすることを示しています。
  論文  参考訳（メタデータ） (2026-08-10T07:49:05Z)
• Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
  オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。 データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
  論文  参考訳（メタデータ） (2026-08-07T04:47:38Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。 我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。 本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-29T16:12:54Z)
• Scaling Reasoning Efficiently via Relaxed On-Policy Distillation [49.39199261602195]
  REOPOLD(Relaxed On-Policy Distillation)は、標準的なオンライン蒸留の厳密な模倣制約を緩和することで最適化を安定化するフレームワークである。 特に、REOPOLDは、混合型報酬クリッピング、エントロピーベースのトークンレベルのダイナミックサンプリング、および統一的な探索・縮小訓練戦略を通じて、教師の報酬を選択的に活用する。
  論文  参考訳（メタデータ） (2026-03-11T16:26:52Z)
• OVD: On-policy Verbal Distillation [47.727229201069555]
  On-policy Verbal Distillation (OVD) は、トークンレベルの確率マッチングを軌道マッチングに置き換えるメモリ効率の高いフレームワークである。 OVDは、言語フィードバックを持つ教師モデルからのオンライン蒸留を可能にしながら、メモリ消費を劇的に削減する。
  論文  参考訳（メタデータ） (2026-01-29T16:48:14Z)
• Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models [130.8912476550625]
  そこで本研究では, 現場での小型モデル展開のための正の無ラベル(PU)強化学習蒸留法を提案する。 本手法は,教師の好み最適化能力をブラックボックス世代から地元の訓練可能な学生に蒸留する。 実験により,本手法は低コストで一貫した強靭な性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-28T15:14:50Z)
• Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation [0.0]
  本稿では,報酬誘導型データセット蒸留フレームワークAdvDistillを提案する。 我々は,教師からの複数の世代(応答)を各プロンプトに利用し,ルールベースの検証に基づいて報酬を割り当てる。 これらの様々な、通常は分散された報酬は、学生モデルを訓練する際の重みとなる。
  論文  参考訳（メタデータ） (2025-06-25T20:07:47Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Efficient Scheduling of Data Augmentation for Deep Reinforcement Learning [2.837718256830632]
  深層強化学習(RL)では、データ拡張は有用な先行要素のセットを誘導するツールとして広く考えられている。 しかし、前者が一般化に有用であったとしても、RL剤に蒸留すると、しばしばRLの訓練に干渉し、試料効率を低下させる。 我々は, 任意の時間(RL後であっても)に前向きに一貫性を注入するスタンドアローンネットワーク蒸留法と, 蒸留を自動的にスケジュールする簡易かつ効率的な枠組みを考案した。
  論文  参考訳（メタデータ） (2022-06-01T14:28:35Z)
• Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay [5.3330804968579795]
  データ自由知識蒸留(Data-Free Knowledge Distillation, KD)は、トレーニングされたニューラルネットワーク(教師)から、元のトレーニングデータがない場合にはよりコンパクトなニューラルネットワーク(学生)への知識伝達を可能にする。 既存の作業では、実際のデータよりも生徒の精度を監視し、プロセス全体を通して最高のパフォーマンスを報告するための検証セットが使用されている。 しかし、蒸留時にも検証データが入手できないため、ピーク精度を達成した生徒のスナップショットを記録することは不可能である。 これは、学生が合成データの分布シフトによって知識劣化を経験するからである。 これまでに観測された合成試料の分布をモデル化する。
  論文  参考訳（メタデータ） (2022-01-09T14:14:28Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。