論文の概要: Towards Understanding On-Policy Distillation through the Lens of Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2608.11829v1
• Date: Wed, 12 Aug 2026 09:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.529215
• Title: Towards Understanding On-Policy Distillation through the Lens of Test-Time Scaling
• Title（参考訳）: 試験時間スケーリングのレンズによるオンライン蒸留の理解に向けて
• Abstract要約: OPDは,学生の推論能力境界を一貫して拡張するのではなく,サンプリング効率を向上する。 OPDトレーニングを通してのpass@Kのダイナミクスは、大きなK機能境界を犠牲にして、より強力な小Kパフォーマンスへの進歩的なシフトを明らかにしている。
• 参考スコア（独自算出の注目度）: 57.215936077456405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) has emerged as a promising post-training technique for enhancing LLM reasoning. It is commonly believed to enable the student model to distill knowledge from a stronger teacher model, thereby expanding capabilities beyond the pre-OPD base model. In this study, we examine this view through the lens of test-time scaling by varying the sampling budget K and evaluating performance with pass@K and avg@K. Specifically, across several OPD variants, we observe that OPD-trained models maintain superior avg@K performance across sampling budgets, while the advantage in pass@K gradually shifts to the pre-OPD base models as K increases. These results suggest that OPD primarily improves sampling efficiency rather than consistently expanding the student's reasoning capability boundary. The pass@K dynamics throughout OPD training further reveal a progressive shift toward stronger small-K performance at the expense of the large-K capability boundary. Furthermore, a problem-level solvability analysis using pass@1024 as the criterion reveals an asymmetry: OPD causes more previously solvable problems to become unsolvable than previously unsolvable problems to become solvable. Together, these findings suggest that, from the perspective of capability expansion, OPD behaves more like an "illusory distillation": its apparent gains arise primarily from improved sampling efficiency rather than from acquiring genuinely new reasoning capabilities from the teacher.
• Abstract（参考訳）: オンライン蒸留 (OPD) は, LLM推論を向上するための訓練後技術として期待されている。 学生モデルは、より強力な教師モデルから知識を抽出し、それによって、プレOPDベースモデルを超えて能力を拡張することができると一般的に信じられている。 本研究では, サンプリング予算Kを変動させ, pass@K と avg@K を用いて評価することにより, テスト時間スケーリングのレンズを通して, この視点を考察する。 具体的には,OPD学習モデルがサンプリング予算に対して優れたavg@K性能を維持しているのに対して,pass@Kの利点はKの増加に伴って徐々にOPDベースモデルにシフトする。 これらの結果から,OPDは学生の推論能力境界を継続的に拡張するのではなく,サンプリング効率を向上することが示唆された。 OPDトレーニングを通してのpass@Kのダイナミクスは、大きなK機能境界を犠牲にして、より強力な小Kパフォーマンスへの進歩的なシフトを明らかにしている。 さらに、pass@1024を基準として問題レベルの可解性解析を行ったところ、非対称性が明らかとなった。 これらの結果から, OPDは, 機能拡張の観点からは「イリューソリー蒸留」のように振る舞うことが示唆された。

関連論文リスト

• DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models [11.299607850340607]
  DreOPDは、フローマッチングモデルのための分解参照補間OPD法である。 DreOPD は OPD とマルチタスク RL のベースラインを平均性能で上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-10T07:55:57Z)
• Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation [21.932079347631632]
  大規模言語モデル(LLM)の強化と整合のための重要なパラダイムとして、オンデマンド自己蒸留(OPSD)が登場している。 OPSDは複雑な推論タスクにおいて、ダウンストリームのパフォーマンスをパラドックス的に低下させる。 自己蒸留目標を動的に緩和する頑健な制御フレームワークであるtextbf Dual-Perspective OPSD (AD-OPSD) を提案する。
  論文  参考訳（メタデータ） (2026-07-12T15:24:25Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Stable On-Policy Distillation through Adaptive Target Reformulation [7.361248172930405]
  ベト (Veto) は、ロジット空間に幾何学的ブリッジを構築する客観的なレベルの再構成である。 ベトは監督された微調整と既存の政治のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-12T02:57:39Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
  本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。 エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-28T16:33:07Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。