論文の概要: DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision

• arxiv url: http://arxiv.org/abs/2610.19302v1
• Date: Tue, 13 Oct 2026 23:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.850255
• Title: DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision
• Title（参考訳）: DTDD: 信頼性の高いオン・プライシ・スーパービジョンのためのダイバージェンストリガー動的蒸留
• Abstract要約: ダイバージェンストリガー動的蒸留(DTDD) DTDDは、訓練中に教師の乗っ取りを誘発するために、セグメントレベルの学生-教師の分岐を利用する。
• 参考スコア（独自算出の注目度）: 30.177372918175774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) provides dense token-level supervision on student rollouts, but this supervision can become unreliable when the student and teacher diverge, either because of a large initial policy gap or compounding errors in long-horizon reasoning and tool use. We introduce Divergence-Triggered Dynamic Distillation (DTDD), an adaptive OPD framework that uses segment-level student-teacher divergence to trigger teacher takeover during training. When divergence triggers an intervention during reasoning, the student prefix continues to receive standard OPD supervision. The teacher then generates a recovery suffix, which the student learns through behavior cloning, using cross-entropy on the teacher-generated tokens. We evaluate DTDD in three regimes: long-horizon reasoning, distillation from a base initialization without offline supervised fine-tuning (SFT), and multi-turn agents. We also compare alternative trigger designs and teacher-intervention rates. DTDD reduces the post-warmup peak gradient norm by $8.6\times$ and, from a base initialization, reaches $21.3\%$ held-out math accuracy in $2.6\times$ fewer optimizer updates than OPD; both methods finish near $22\%$. It improves best-observed performance by $4.8$ and $4.1$ percentage points on ALFWorld with LoRA and agentic code, respectively. Ablations show that segment-averaged triggers outperform token-spike triggers. Behavior cloning is also more effective than the tested OPD surrogate for training teacher-generated recoveries. Across 23 experimental arms, takeover tends to help when the teacher substantially outperforms the OPD-trained student, provided that the teacher can recover from student-visited states, the student can learn those recoveries, and teacher intervention is neither excessive nor insufficient.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生のロールアウトに対するトークンレベルの厳密な監督を提供するが、この監督は、学生と教師が分岐する際に、大きな初期政策のギャップがあるか、長期の推論とツールの使用においてエラーを混在させるため、信頼できないものとなる。 そこで,本研究では,授業中に教師の乗っ取りを誘発するために,セグメンテーションレベルの生徒-教師の発散を利用する適応型OPDフレームワークであるDTDDを紹介する。 発散が推論中に介入を引き起こすと、学生プレフィックスは標準のPD監督を受け続ける。 教師は、教師生成トークンのクロスエントロピーを用いて、生徒が行動クローニングを通じて学習するリカバリ接尾辞を生成する。 我々は,DTDDを長期的推論,オフライン制御微調整(SFT)のない基本初期化からの蒸留,マルチターンエージェントの3つの体制で評価した。 また、代替のトリガーデザインと教師の介入率を比較した。 DTDDは、ウォームアップ後のピーク勾配基準を8.6\times$に減らし、基本初期化から、21.3\%$ホールドアウト数学の精度を2.6\times$2.6\times$に下げる。 最高の観測性能を4.8ドルと4.1ドルのパーセンテージで改善し、ALFWorldではLoRAとエージェントコードでそれぞれ改善している。 アブレーションは、セグメント平均的なトリガーがトークンスパイクトリガーより優れていることを示している。 行動クローニングは、教師が生成した回復を訓練するためのOPDサロゲートよりも効果的である。 23人以上の実験的な腕で、教師がPD訓練を受けた学生を著しく上回り、教師が学生が訪問した状態から回復できること、生徒がそれらの回復を学べること、教師の介入が過度でも不十分でもないことを条件に、テイクオーバーは教師の助けとなる。

関連論文リスト

• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。