論文の概要: DASH-OPD: Discrepancy-Aware Switching with Hysteresis for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.29078v1
- Date: Fri, 31 Jul 2026 06:57:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.22012
- Title: DASH-OPD: Discrepancy-Aware Switching with Hysteresis for On-Policy Distillation
- Title（参考訳）: DASH-OPD: ハイステリシスによる点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点滴式点灯式点滴式点灯式点灯式点灯式点灯式点灯式点灯式点灯式点灯式点灯式点灯式点灯
- Abstract要約: オンライン蒸留(OPD)は、露光バイアスを減らすために学生モデルを自身のロールアウトで訓練する。
既存のカリキュラム学習手法は、学習の進捗に応じてどの程度の教師支援が使われているかを規定するが、いつ必要かは決定できない。
DASH-OPDは,実行者を適応的に双方向に切り替える新しいエージェントOPD法である。
- 参考スコア（独自算出の注目度）: 9.897015521661915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) trains student models on their own rollouts to reduce exposure bias. However, in multi-turn agent scenarios, early student errors can lead a trajectory away from the teacher's familiar domain. Existing curriculum learning methods regulate how much teacher support is used according to training progress, but cannot determine when it is needed. In light of this, we propose DASH-OPD, Discrepancy-Aware Switching with Hysteresis for OPD, a new agentic OPD method that can switch executors adaptively and bidirectionally. On each turn, DASH-OPD calculates a mean log-probability ratio between the two executors over action tokens as their discrepancy. Student-to-teacher ratios on student turns form drift signals, while teacher-to-student ratios on teacher turns form recovery signals. These signals are normalized and accumulated over multiple turns into drift and recovery evidence. DASH-OPD switches executors when the evidence exceeds its corresponding switching threshold. This multi turn accumulation makes the switching hysteretic, preventing high-frequency switches caused by transient fluctuations. On ALFWorld, DASH-OPD outperforms all the baselines and demonstrates superior training and deployment efficiency. This paper is a work in progress. Code, training logs, and model checkpoints will be released later.
- Abstract（参考訳）: オンライン蒸留(OPD)は、露光バイアスを減らすために学生モデルを自身のロールアウトで訓練する。
しかし、マルチターンエージェントのシナリオでは、初期の学生のエラーは教師の慣れ親しんだ領域から逸脱する可能性がある。
既存のカリキュラム学習手法は、学習の進捗に応じてどの程度の教師支援が使われているかを規定するが、いつ必要かは決定できない。
そこで本研究では, DASH-OPD, Discrepancy-Aware Switching with Hysteresis for OPDを提案する。
各ターンで、DASH-OPDは、アクショントークンに対する2つの実行者間の平均対数確率比を、その差として計算する。
生徒と教師の比率はドリフト信号、教師と生徒の比率はリカバリ信号となる。
これらの信号は正規化され、複数回にわたって蓄積され、ドリフトと回復の証拠となる。
DASH-OPDはエビデンスが対応するスイッチング閾値を超えるとエグゼクタを切り替える。
この多重ターン蓄積は、スイッチングヒステリシスを発生させ、過渡変動による高周波スイッチを防止する。
ALFWorldでは、DASH-OPDがすべてのベースラインを上回り、優れたトレーニングとデプロイメント効率を示している。
この論文は進行中の作業です。
コード、トレーニングログ、モデルチェックポイントは後にリリースされる。
関連論文リスト
- Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models [26.283978881046107]
検証可能な報酬による強化学習は、大きな言語モデルの推論能力を向上させる。
On-policy self-distillationは、学生が訪問する接頭辞で特権教師に問い合わせることで、信号の疎結合を緩和する。
標準のOPSDはロールアウトの時間構造をまだ明らかにしていない。
DASHは各局所蒸留信号とシーケンスレベル平均とのギャップを適応伝搬ゲートにマッピングする。
論文 参考訳（メタデータ） (2026-08-06T16:29:24Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。
ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。
OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
論文 参考訳（メタデータ） (2026-07-06T07:56:53Z) - DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。
特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。
大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-06-29T17:55:53Z) - AsyncOPD: How Stale Can On-Policy Distillation Be? [23.273855195545394]
オンライン蒸留(OPD)は、教師のフィードバックによって指導された独自のロールアウトで学生を訓練する。
非同期トレーニングパイプラインは、学習者の更新からロールアウト生成を分離することで、このボトルネックを軽減することができる。
本研究は,非同期PDの安定性に関する最初の体系的研究である。
論文 参考訳（メタデータ） (2026-06-23T04:50:49Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳（メタデータ） (2026-06-07T03:17:25Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。
標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。
我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
論文 参考訳（メタデータ） (2026-04-14T17:44:50Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。