論文の概要: Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.25842v1
• Date: Mon, 19 Oct 2026 05:55:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:20:39.086396
• Title: Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation
• Title（参考訳）: すべてのロールアウトが蒸留を必要としているわけではない:正当性フィルターオン・ポリシィ自己蒸留
• Abstract要約: On-policy Self-distillation (OPSD)は、同じベースモデルの基準条件付きバージョンで学生が生成した軌道を監督する。 正誤応答は個人差の等級が似ているが, 正誤応答はコヒーレント勾配の約3倍である。 本稿では,問題ごとの応答を1つずつ生成し,誤応答のサブセットのみを蒸留する正しさフィルタOPSDを提案する。
• 参考スコア（独自算出の注目度）: 8.051343213708634
• License:
• Abstract: On-policy self-distillation (OPSD) supervises student-generated trajectories with a reference-conditioned version of the same base model. We ask whether every trajectory supplies distinct supervision that warrants its distillation cost. Gradient measurements on Qwen3-1.7B at initialization reveal that correct and incorrect responses have similar individual gradient magnitudes, but incorrect responses have approximately three times the coherent gradient share. Their estimated population-mean directions also largely overlap. A signal--noise model fitted at a small group size tracks alignment at larger group sizes without refitting. Motivated by these measurements, we introduce correctness-filtered OPSD (C-OPSD), which generates one response per problem and distills only a subset of incorrect responses. Removing unselected rows before both distillation forwards avoids their teacher/student forward and student backward work. Across Qwen3-1.7B, 4B, and 8B on AIME24, AIME25, and HMMT25, C-OPSD achieves on-par performance with full OPSD. In a measured micro-batch-size-four implementation, executed rows decrease by approximately 68%, and with retained rows packed into full micro-batches, training takes about 40% less time while rollout generation remains unchanged. Together, the measurements and training results connect outcome-conditioned supervision redundancy to more compute-efficient distillation.
• Abstract（参考訳）: On-policy Self-distillation (OPSD)は、同じベースモデルの基準条件付きバージョンで学生が生成した軌道を監督する。 各軌道が蒸留コストを保証する個別の監督を提供するかどうかを問う。 初期化時のQwen3-1.7Bの勾配測定では、正誤応答は個々の勾配の程度が似ているが、誤応答はコヒーレント勾配の約3倍である。 人口平均方向も大きく重なっている。 信号ノイズモデルが小さなグループサイズに収まると、より大きなグループサイズでアライメントされる。 これらの測定により,問題毎に1つの応答を生成し,誤応答のサブセットのみを蒸留する正度フィルタOPSD(C-OPSD)を導入する。 蒸留前に選抜されていない列を取り除くことは、教師や学生が前向きに働き、学生が後向きに働くのを避ける。 Qwen3-1.7B, 4B, 8B on AIME24, AIME25, HMMT25, C-OPSDは完全なOPSDでオンパー性能を実現する。 測定されたマイクロバッチサイズフォーの実装では、実行行は約68%減少し、保持行がフルマイクロバッチに詰め込まれているため、ロールアウト生成が変更されていない間、トレーニングにかかる時間はおよそ40%削減される。 測定結果とトレーニング結果は、結果条件付き監督冗長性と、より計算効率の良い蒸留とを結びつける。

関連論文リスト

• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
  少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T14:35:46Z)
• OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models [26.24730229614082]
  量子化対応トレーニングは、大きな言語モデルが4ビット以下に圧縮されたときに失われる精度の多くを回復することができる。 既存のre- Coveryステージは、固定された完了や教師生成の回答に一般的に最適化されている。 OnlineQATは、学生が生成した反応をオンラインで蒸留する。
  論文  参考訳（メタデータ） (2026-10-07T03:05:42Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• ResOPD: Tail Residualization for Sparse On-Policy Distillation [25.123322898662565]
  オンライン蒸留は学生モデルを自己生成軌道上で訓練する。 教師の密集した分布を 長い推論の痕跡に伝達すると 通信の禁止と 記憶のボトルネックが生じる 本稿では,非バイアス付き完全語彙逆KL勾配推定を行うResOPD(On-Policy Distillation with Tail Residualization)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T02:43:39Z)
• VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation [68.00823860612421]
  ビデオ作成は、テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、条件ベースの生成にまたがる。 3つのタスクファミリ用のジェネレータに対して,同じトレーニングレシピを別々に適用する統合蒸留フレームワークであるVDOT++を提案する。
  論文  参考訳（メタデータ） (2026-10-02T12:37:55Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning [27.08087977200613]
  BIRD(Bootstrapped Iterative Self-Reasoning Distillation)は、2段階の自己焼成蒸留法である。 まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。 MATH-500 や AIME のベンチマーク上でのオンライン蒸留やコールドスタートよりも高い精度・効率のトレードオフを実現している。
  論文  参考訳（メタデータ） (2026-07-17T08:15:35Z)
• Variance Reduction on the Camera Axis: Multi-View Score Distillation for 3D [0.30586855806896046]
  スコア蒸留は事前訓練された2次元拡散モデルを3次元生成器に変えるが、ステップごとの勾配はランダムに選択された1つの視点から推定される。 以前の作業では、マルチビューデータに先立って拡散をトレーニングすることで、この問題に対処している。 代わりにサンプリング軸を分離する。
  論文  参考訳（メタデータ） (2026-06-29T08:41:42Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。