論文の概要: What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.33455v1
- Date: Sun, 27 Sep 2026 11:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.670513
- Title: What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation
- Title（参考訳）: シェアされたプレフィックス: オンライン蒸留のための軌道降下
- Abstract要約: 共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
- 参考スコア（独自算出の注目度）: 17.676705850864103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) trains a student model on its own trajectories using dense token-level feedback from a stronger teacher model. Since each update is conditioned on the reasoning prefix already generated by the student, the prefix also shapes how effectively teacher feedback is converted into learning. We find that shared prefixes can lead to weak token-level updates, a phenomenon we call Prefix-Induced Supervision Attenuation (PISA). This attenuation arises in two common cases. (i) High student confidence can weaken corrective gradients even when the teacher disagrees. (ii) Tokens that rely on earlier reasoning can receive learning signals as weak as those for simple local continuations. To solve this problem, we propose Trajectory Dropout, a simple training-time intervention that exposes these weakened signals. The student first performs a standard full-context rollout to generate a complete trajectory. During training, we randomly drop a certain proportion of the student's reasoning trajectory, while the teacher continues to observe the complete trajectory for token-level supervision. This intervention strengthens corrections for overconfident predictions and introduces additional supervision at prefix-sensitive positions. Trajectory Dropout consistently improves average performance across teacher--student model pairs of different scales and six mathematical reasoning benchmarks, while also yielding gains on two out-of-domain benchmarks. It can also be flexibly integrated into existing OPD variants with negligible computational overhead, further improving their performance. These results demonstrate that Trajectory Dropout provides a simple mechanism for strengthening token-level supervision across model scales and OPD objectives.
- Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師モデルからの密集したトークンレベルフィードバックを使用して、生徒モデルを自身の軌道上で訓練する。
各更新は、既に生徒が生成した推論プレフィックスに条件付けされているので、プレフィックスはまた、教師のフィードバックがいかに効果的に学習に変換されるかを形作る。
共有プレフィックスは,PISA(Prefix-induced Supervision Attenuation)と呼ばれる,トークンレベルの更新を弱める可能性がある。
この減衰は2つの一般的なケースで起こる。
一 教師の意見の相違があっても、生徒の信頼度の高さが補正勾配を弱めることがある。
(二)従来の推論に依拠するトークンは、単純な局所的継続に匹敵する学習信号を受信することができる。
この問題を解決するために,これらの弱信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
学生はまず、完全な軌跡を生成するための標準のフルコンテキストロールアウトを実行する。
授業中、学生の推論軌道の一定割合をランダムに落とし、教師はトークンレベルの監督のために完全な軌道を観察し続けている。
この介入は、過信予測の修正を強化し、プレフィックスセンシティブな位置で追加の監視を導入する。
Trajectory Dropoutは、教師間の平均パフォーマンスを、異なるスケールのモデルペアと6つの数学的推論ベンチマークで一貫して改善すると同時に、2つの非ドメインベンチマークで利益を得る。
また、計算オーバーヘッドを無視して既存のOPD亜種に柔軟に統合することができ、性能をさらに向上させることができる。
これらの結果から,Trjectory Dropoutは,モデルスケールやPD目標を越えたトークンレベルの監視を強化するためのシンプルなメカニズムを提供することが示された。
関連論文リスト
- Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。
本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-06T07:08:41Z) - Contrastive On-Policy Distillation [36.47487086937924]
対照的なオンライン蒸留フレームワークである COPD を提案する。
COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
論文 参考訳（メタデータ） (2026-07-21T12:35:04Z) - Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
論文 参考訳（メタデータ） (2026-07-07T23:16:19Z) - DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。
特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。
大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-06-29T17:55:53Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。
CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。
我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
論文 参考訳（メタデータ） (2026-01-20T14:05:19Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。