論文の概要: CLOOPD: Closing the Learner Loop in On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.24141v1
- Date: Mon, 21 Sep 2026 05:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.088949
- Title: CLOOPD: Closing the Learner Loop in On-Policy Distillation
- Title（参考訳）: CLOOPD: オンライン蒸留における学習者のループの閉鎖
- Abstract要約: 本稿では,教師信号取得と学生側の実現を分離したクローズドループフレームワークであるCLOOPDを紹介する。
6つの300ステップが8-H20ノード上で実行され、全てのCLOOPDポリシーは1パスのTOP-Dアンカーを同等の規模で改善する。
ステップ300では、CLOOPD-Fixed3が15.35に達し、ステップ300ではTOP-Dとほぼ一致するが、67.2%の教師マーク付きトークンと28.0%のGPU時間を使用する。
- 参考スコア（独自算出の注目度）: 6.255072306490681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) pays twice for each fresh batch: the student generates trajectories and a stronger teacher scores them. Existing methods improve which trajectories are scored and how the teacher signal is constructed, but usually consume it with one actor update. We introduce CLOOPD, a closed-loop framework separating teacher-signal acquisition from student-side realization. CLOOPD selects an adaptive $α$ waypoint inside a KL envelope, freezes the scored batch and its advantages, re-forwards the student after each actor pass, measures realization, and allocates actor work under a separate token budget. The framework includes deterministic two- and three-pass policies, token-priced CLOOPD-TPMR, and a budget-matched control. Across six 300-step runs on an 8-H20 node, every CLOOPD policy improves the one-pass TOP-D anchor at comparable teacher-token scale: macro accuracy rises from 15.41 to 17.78 with CLOOPD-Fixed2 and 19.36 with CLOOPD-Fixed3. At step 100, CLOOPD-Fixed3 reaches 15.35, nearly matching TOP-D at step 300 while using 67.2% fewer teacher-scored tokens and 28.0% fewer GPU-hours. Earlier 8-A100 ablations show adaptive $α$ eliminates observed trust-envelope violations; a third pass adds headroom. These results position CLOOPD as a framework for budgeting how fully students learn from teacher-scored tokens.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が軌跡を生成し、より強力な教師がそれらをスコアする。
既存の方法では、どの軌跡が採点され、どのように教師の信号が構築されるかが改善されるが、通常は1人のアクターの更新でそれを消費する。
本稿では,教師信号取得と学生側の実現を分離したクローズドループフレームワークであるCLOOPDを紹介する。
CLOOPDはKLエンベロープ内の適応的な$α$ウェイポイントを選択し、獲得したバッチとその利点を凍結し、各アクターが通過した後、学生を再フォワードし、実現を測り、別のトークン予算の下でアクターワークを割り当てる。
このフレームワークには、決定論的2パスと3パスのポリシー、トークン価格のCLOOPD-TPMR、予算整合制御が含まれている。
6つの300ステップが8-H20ノード上で実行され、全てのCLOOPDポリシーは1パスのTOP-Dアンカーを同等の規模で改善する:マクロ精度は15.41から17.78に上昇し、CLOOPD-Fixed2は19.36に改善される。
ステップ100では、CLOOPD-Fixed3が15.35に到達し、ToP-Dとステップ300でほぼ一致するが、67.2%の教師マーク付きトークンと28.0%のGPU時間を使用する。
初期の8-A100エイブレーションでは、適応$αが、観察された信頼とエンベロープの違反を排除している。
これらの結果から,CLOOPDは学生が教師によるトークンから完全に学習する方法の予算化の枠組みとして位置づけられた。
関連論文リスト
- Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation [45.25745441009372]
既存の加速法は、固定されたオフライン予算に従って監視信号を切断または移動させる。
本稿では2つの相補的手法を組み合わせたSTRIDE(Stop-and-Restart on-policy DistillationAcceleration)を提案する。
提案手法は全軌道PDと一致し,30B 教師を3.73 タイムで上回り,ベースライン自体を2.34 タイムで上回り,クロスドメインマルチテスタトレーニングでは4.51 タイムで上回ります。
論文 参考訳（メタデータ） (2026-09-13T16:17:35Z) - D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳（メタデータ） (2026-08-25T17:57:11Z) - ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。
我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
論文 参考訳（メタデータ） (2026-08-11T13:27:56Z) - Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
論文 参考訳（メタデータ） (2026-08-10T16:53:14Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation [2.587194279527956]
CADENCEは統合されたフレームワークで、各障害モードに対してターゲットとなる修正を行う。
DRIFTは、学生サンプル軌道上の前方KLと逆KLのサロゲートを混合したトーケンの凸をスケジュールする。
A)COVA、(B)FTB、(B)大域正規化エントロピー参照による高エントロピー位置での勾配集中、(D)LAP、可視性優先正しいロールアウト強化、(E)エントロピー非依存キャリブレーション
論文 参考訳（メタデータ） (2026-07-18T20:16:26Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training [20.04756350098974]
ラベル付き検証可能なトレーニングデータがバインディング制約である場合、各チェックされた例は、最も情報のあるモデルと報酬密度に割り当てるべきである。
スパース・シークエンス・レベルの報酬は、より良い振る舞いを探索し発見できるモデルにおいて最も有用であるが、より密集したトークンレベルの教師監督は、その振る舞いをより小さなデプロイメントモデルに圧縮するのにより適している。
論文 参考訳（メタデータ） (2026-05-12T17:57:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。