論文の概要: A Formula-Driven Survey and Research Agenda for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2606.22793v1
- Date: Mon, 22 Jun 2026 03:09:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:35:37.491922
- Title: A Formula-Driven Survey and Research Agenda for On-Policy Distillation
- Title（参考訳）: オンライン蒸留のためのフォーミュラ駆動型調査と研究アジェンダ
- Authors: Bowen Zhang,
- Abstract要約: 本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。
我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
- 参考スコア（独自算出の注目度）: 4.397842507533513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) trains an LLM on states induced by the current or recent student policy: the student generates complete or partial rollouts, a teacher or self-teacher scores the resulting tokens under their generated contexts, and dense log-probability, logit, or distributional signals are converted into post-training updates. This survey studies OPD as a feedback-to-update problem rather than a single loss family. We develop a formula-driven taxonomy from two routes -- direct distributional losses and policy-gradient-style log-ratio updates -- and use it to organize core methods, verifier- or outcome-guided hybrids, industrial reports, framework implementations, failure modes, and stabilization recipes under explicit evidence boundaries. The taxonomy shows that OPD effectiveness depends not only on KL direction or teacher access, but also on state compatibility, support construction, temporal credit, vocabulary-level probability routing, gates and weights, and regularization. We further separate two mechanisms often conflated in sampled-token OPD stability discussions. Temporal credit asks how teacher-student log-ratio returns should weight sampled actions across a rollout; vocabulary routing asks where probability mass should move when negative feedback suppresses a sampled token. This distinction yields bias boundaries for immediate, return-to-go, discounted, and baseline-corrected estimators, motivates GAE-OPD as a value-based hypothesis for log-ratio returns, and motivates Counterfactual Routed OPD (CR-OPD) for routing probability mass toward teacher-supported, student-reachable alternatives. We close by mapping actionability diagnostics, failure mechanisms, case studies, open problems, and a reporting checklist onto the same feedback-to-update variables.
- Abstract（参考訳）: オンライン蒸留(OPD)は、現在の学生政策または最近の学生政策によって引き起こされた状態に基づいてLSMを訓練する: 学生は完全または部分的なロールアウトを発生し、教師または自習者が生成された状況下で得られたトークンをスコアし、密度の高いログ確率、ロジット、あるいは分布信号がポストトレーニング更新に変換される。
本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。
我々は,2つの経路 – 直接分布損失と政策段階的なログ比更新 – から公式駆動型分類法を開発し,コアメソッド,検証対象または結果誘導型ハイブリッド,産業報告,フレームワークの実装,障害モード,明確な証拠境界の下での安定化レシピを整理する。
分類学は、OPDの有効性がKL方向や教師アクセスだけでなく、状態整合性、サポート構築、時間的信用、語彙レベルの確率ルーティング、ゲートとウェイト、正規化にも依存していることを示している。
さらに2つのメカニズムを分離する。
時間クレジットは、教師と学生の対数比のリターンが、ロールアウト全体にわたってサンプルアクションを重み付けすべきかどうかを問う;語彙ルーティングは、負のフィードバックがサンプルトークンを抑圧するときに、どの確率質量を移動すべきかを問う。
この区別は、即時、リターン・ツー・ゴー、割引、ベースライン補正推定器のバイアス境界を導き、対数比のリターンの値に基づく仮説としてGAE-OPDを動機付け、教師が支援する、学生が支援する代替案に確率質量をルーティングするための対実的ルート付きOPD(CR-OPD)を動機付けている。
私たちは、アクションビリティ診断、障害メカニズム、ケーススタディ、オープンな問題、レポートチェックリストを同じフィードバックから更新された変数にマッピングすることで、閉じています。
関連論文リスト
- Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳（メタデータ） (2026-06-07T03:17:25Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。
オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。
我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
論文 参考訳（メタデータ） (2026-05-12T18:57:44Z) - Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。
我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。
TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
論文 参考訳（メタデータ） (2026-05-08T17:00:38Z) - Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。
統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入
検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
論文 参考訳（メタデータ） (2026-04-08T00:53:29Z) - Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。
本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T18:06:53Z) - Tape: A Cellular Automata Benchmark for Evaluating Rule-Shift Generalization in Reinforcement Learning [0.0]
本稿では,遅延ルールシフト下でのOOD障害の分離を目的とした強化学習ベンチマークであるTapeを提案する。
我々は、(i)標準化されたOODプロトコル、(ii)統計報告要件、(iii)エントロピー還元と条件付き相互情報を結ぶ情報理論のアイデンティティを提供する。
論文 参考訳（メタデータ） (2026-01-08T08:05:42Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳（メタデータ） (2026-01-05T10:16:41Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳（メタデータ） (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。