論文の概要: Learning from Teacher Continuations at Student States
- arxiv url: http://arxiv.org/abs/2609.36246v2
- Date: Wed, 30 Sep 2026 00:28:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.131335
- Title: Learning from Teacher Continuations at Student States
- Title（参考訳）: 学生国家における教師の継続から学ぶ
- Abstract要約: オンライン言語モデル蒸留システムとしてOLIVE(OnLine Intervention)を提案する。
各イテレーションにおいて、進化する学生ポリシーが新しいプレフィックスを生成し、教師は自己回帰的にそれを継続し、教師生成トークンに基づいて計算されたクロスエントロピーを用いて生徒を更新する。
OLIVEは、同じ訓練予算の下で既存の蒸留法を一貫して上回っている。
GPT-5.4-mini のテキストのみを使用して、OLIVE による継続的なトレーニングは、ScienceWorld において、同じ教師のオフライン SFT を 13% 上回っている。
- 参考スコア（独自算出の注目度）: 19.38883898309938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present OLIVE (OnLine InterVEntion). At each iteration, the evolving student policy generates a new prefix, the teacher continues it autoregressively, and the student is updated using cross-entropy computed on the teacher-generated tokens. Each design choice targets a corresponding limitation of existing distillation methods: (1) sequential covariate shift in offline supervised fine-tuning (SFT) on fixed teacher trajectories, (2) fragmented supervision under prefix failure in token-level on-policy distillation (OPD), and (3) the need for access to teacher token probabilities in distribution-matching distillation. OLIVE achieves higher reasoning performance than OPD (with a top-16 KL approximation) at comparable GPU-hour cost. Our asynchronous implementation further reduces OLIVE's total training time by 23.8\%. We evaluate OLIVE on both hard reasoning tasks and agentic tasks which reflects modern post-training scenarios, and it consistently outperforms existing distillation methods under the same training budget. By regenerating prefixes from the evolving student, OLIVE continues improving after offline distillation plateaus while better preserving the general capabilities and plasticity of the student. Using only text from GPT-5.4-mini, continuously training with OLIVE outperforms offline SFT from the same teacher by 13\% on ScienceWorld. These results support OLIVE as an effective and efficient approach to online language-model distillation.
- Abstract（参考訳）: OLIVE (OnLine Intervention) について述べる。
各イテレーションにおいて、進化する学生ポリシーが新しいプレフィックスを生成し、教師は自己回帰的にそれを継続し、教師生成トークンに基づいて計算されたクロスエントロピーを用いて生徒を更新する。
各設計選択は,(1) 固定された教師軌道上でのオフライン制御微調整(SFT)の逐次的共変量シフト,(2) トークンレベルのオンポリス蒸留(OPD)におけるプレフィックス障害下での断片化された監督,(3) 分散マッチング蒸留における教師トークンの確率へのアクセスの必要性といった,既存の蒸留方法の限界を目標としている。
OLIVEは、GPU時間に匹敵するコストで、OPD(トップ16KL近似)よりも高い推論性能を達成する。
私たちの非同期実装は、OLIVEの総トレーニング時間を23.8\%削減します。
我々は,近代的なポストトレーニングシナリオを反映したハード推論タスクとエージェントタスクの両方でOLIVEを評価し,同一のトレーニング予算下で既存の蒸留方法より一貫して優れています。
進化する学生から接頭辞を再生することにより、OLIVEは、学生の一般的な能力と可塑性を良く保ちながら、オフライン蒸留高原の後に改善を続けます。
GPT-5.4-mini のテキストのみを使用して、OLIVE による継続的なトレーニングは、ScienceWorld において、同じ教師のオフライン SFT を 13 % 上回っている。
これらの結果は,オンライン言語モデル蒸留への効果的かつ効率的なアプローチとしてOLIVEを支持している。
関連論文リスト
- Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers [2.6641834518599303]
そこで我々は,教師が抱える問題から,各学習者の気道におけるトークンの確率がどう変化するかを測定した。
継続に基づく推定とは異なり、学習容易性は追加生成を必要とせず、格納された軌跡やモデルチェックポイントから一度計算できる。
論文 参考訳（メタデータ） (2026-09-16T08:41:16Z) - Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。
Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。
ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
論文 参考訳（メタデータ） (2026-08-13T15:51:31Z) - STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models [14.682283642975271]
本稿では,教師を超えて学習対象を拡大する画像生成のためのオンライン蒸留フレームワークSTEP-OPDを提案する。
教師を最終目標として扱う代わりに、各タスク固有の教師と共有ベースモデルの速度差を更なる学習の方向として利用する。
さらに、学生と教師の表現変化の方向と大きさを調整し、学生がどのように表現が徐々に変換されるかを学習できるようにする。
論文 参考訳（メタデータ） (2026-08-05T14:11:27Z) - OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。
これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。
品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文 参考訳（メタデータ） (2026-08-03T23:09:43Z) - From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents [16.67357658768852]
我々は,OVCSD(Outcome-Verified Comparison Self-Distillation)を提案する。
OVCSDは失敗に終わった学生をプレフィックスツリーに配置し、学生が設定した状態からスキル条件の教師を適応的に呼び出す。
3つのモデルスケールにわたるALFWorldとWebShopの実験は、OVCSDがスキルのないRLと既存の自己蒸留ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-07-30T09:47:58Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - OVD: On-policy Verbal Distillation [47.727229201069555]
On-policy Verbal Distillation (OVD) は、トークンレベルの確率マッチングを軌道マッチングに置き換えるメモリ効率の高いフレームワークである。
OVDは、言語フィードバックを持つ教師モデルからのオンライン蒸留を可能にしながら、メモリ消費を劇的に削減する。
論文 参考訳（メタデータ） (2026-01-29T16:48:14Z) - AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。
トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。
AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
論文 参考訳（メタデータ） (2025-10-09T06:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。