論文の概要: Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers
- arxiv url: http://arxiv.org/abs/2609.18321v1
- Date: Wed, 16 Sep 2026 08:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.716395
- Title: Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers
- Title（参考訳）: 教師の不完全なオフラインオンライン蒸留のための軌道学習性
- Abstract要約: そこで我々は,教師が抱える問題から,各学習者の気道におけるトークンの確率がどう変化するかを測定した。
継続に基づく推定とは異なり、学習容易性は追加生成を必要とせず、格納された軌跡やモデルチェックポイントから一度計算できる。
- 参考スコア（独自算出の注目度）: 2.6641834518599303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline on-policy distillation gains efficiency by collecting student trajectories and teacher supervision once and reusing them throughout optimization. The same reuse makes imperfect supervision persistent. Since even strong teachers can fail, we ask \emph{what remains learnable from imperfect teacher supervision?} Teacher failure is only a coarse problem-level signal and does not imply that all supervision along the associated student trajectory is unhelpful. A natural alternative is to estimate teacher recoverability along the trajectory, but repeated continuations largely erase the efficiency advantage of offline distillation. We instead use teacher-successful problems to define a cheap reference for what the student can learn. We train on teacher-successful problems and measure how the likelihood of each observed token in trajectories from teacher-failed problems changes. We use these signed likelihood changes as an operational \emph{learnability signal}: larger increases indicate behavior more strongly promoted by successful-only learning. We aggregate this signal into trajectory-level weights for the original distillation loss. Unlike continuation-based estimates, our learnability requires no additional generation and can be computed once from stored trajectories and model checkpoints. Across mathematical reasoning and code generation, our method improves an offline OPD baseline by up to 2.7 percentage points and matches or outperforms online OPD variants on multiple benchmarks. Despite the additional successful-only distillation stage, it uses 2 GPUs and about 22 GPU hours, compared with 3 GPUs and 36--48 GPU hours for representative online OPD methods.
- Abstract（参考訳）: オフラインのオンライン蒸留は、学生の軌跡と教師の監督を一度集め、最適化を通じてそれらを再利用することで効率を上げる。
同じ再利用によって、不完全な監視が永続的になる。
強い教師でさえ失敗する可能性があるので、不完全な教師の監督から学べないものは何か?
教師の失敗は問題レベルの粗い信号に過ぎず、関連する生徒の軌跡に沿ったすべての監督が危険であることを示すものではない。
自然の代替手段は、教師の軌道に沿った回復可能性を評価することであるが、繰り返し継続することで、オフライン蒸留の効率性はほとんど失われる。
代わりに、学生が学べるものに対する安価な参照を定義するために、教師に熟練した問題を使用します。
本研究は,教師が抱える問題から,各授業における観察トークンの確率がどう変化するかを学習し,測定する。
我々はこれらの符号付き可能性変化を運用上の「emph{learnability signal}」として使用し、より大きな増加は、成功のみの学習によってより強く促進された行動を示す。
我々はこの信号をトラジェクトリレベルの重みに集約し、元の蒸留損失を減らした。
継続に基づく推定とは異なり、学習容易性は追加生成を必要とせず、格納された軌跡やモデルチェックポイントから一度計算できる。
数式推論とコード生成により,オフラインのPDベースラインを最大2.7%改善し,複数のベンチマークでオンラインPDバージョニングのマッチングや性能を向上する。
2つのGPUと約22のGPU時間を使用するのに対し、3つのGPUと36-48のGPU時間はオンラインPDメソッドの代表である。
関連論文リスト
- What Does Privileged Information Add to On-Policy Self-Distillation? [60.230821182626585]
オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。
AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。
直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
論文 参考訳（メタデータ） (2026-09-17T15:57:10Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
論文 参考訳（メタデータ） (2026-07-07T23:16:19Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2026-07-04T21:51:22Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Distribution Corrected Offline Data Distillation for Large Language Models [8.778789513095907]
強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。
教師が生成したトレースからのオフライン蒸留は、高品質でサンプル効率の高い監視を提供するが、分散的ドリフトに悩まされる。
そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T19:47:31Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。