論文の概要: ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.38160v1
- Date: Wed, 28 Oct 2026 02:00:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 18:45:48.006602
- Title: ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation
- Title（参考訳）: ATI-OPD: 安定長周期オンライン蒸留のための適応型教師介入
- Abstract要約: オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。
そこで本稿では, 教師指導を改善するために, オンライン蒸留(ATI-OPD)のテキストbf教師介入を提案する。
- 参考スコア（独自算出の注目度）: 49.1911535337669
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: On-policy distillation (OPD) trains a student on its own responses using token-level feedback from a teacher. As responses grow longer, the student's prefix can depart from the teacher's own reasoning, weakening its feedback on later tokens. Updates based on this feedback can reinforce the same deviations in later responses and destabilize training. Prior approaches such as length control and loss reweighting limit learning from problematic responses but leave their prefixes unchanged. Fixed cutoffs can also discard later reasoning. We propose \textbf{Adaptive Teacher Intervention for On-Policy Distillation (ATI-OPD)} to improve subsequent teacher guidance by revising the student's reasoning prefix. ATI-OPD replaces the earliest high-disagreement segment with a short teacher segment, then lets the student resume its own reasoning from the revised text. To handle renewed disagreement, it excludes persistently divergent suffixes from the distillation loss while retaining useful student continuation. Training diagnostics show less teacher-student disagreement, fewer gradient spikes, and fewer extremely long responses. Across five mathematical reasoning benchmarks and two teacher-student pairs, ATI-OPD improves average student-only accuracy over standard OPD.
- Abstract（参考訳）: オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。
反応が長くなると、生徒の接頭辞は教師自身の推論から外れ、後のトークンに対するフィードバックが弱まる。
このフィードバックに基づくアップデートは、後のレスポンスで同じ逸脱を強化し、トレーニングを不安定にする。
長さ制御や損失再重み付けといった従来のアプローチは、問題のある応答から学習を制限するが、接頭辞はそのままにしておく。
固定されたカットオフは後続の推論を捨てることもできる。
そこで本稿では, 教師指導の改善のために, 学生の推論プレフィックスを改訂し, 教師指導を改善するために, オンライン蒸留(ATI-OPD) のための textbf{Adaptive Teacher Intervention を提案する。
ATI-OPDは、最初期の高分解率セグメントを短い教師セグメントに置き換え、修正されたテキストから生徒が独自の推論を再開できるようにする。
新たな不一致に対処するため、学生の有用な継続を保ちながら、蒸留損失から持続的に分離した接尾辞を除外する。
トレーニング診断では、教師と学生の意見の相違、勾配のスパイクの減少、極端に長い反応の減少が示される。
ATI-OPDは5つの数学的推論ベンチマークと2つの教師と学生のペアで、標準PDよりも平均的な学生のみの精度を向上させる。
関連論文リスト
- CD-OPD: Contextual Digest for On-Policy Distillation [13.363237312598216]
オンライン蒸留(CD-OPD)のための文脈消化法を提案する。
CD-OPDは教師生成依存グラフを通じて教師指導の初期の文脈を構成する。
既存のOPD法よりも平均精度が1.32～7.05ポイント向上する。
論文 参考訳（メタデータ） (2026-10-18T16:02:50Z) - Recovering Reliable Supervision via Critique-Guided On-Policy Distillation [14.729045952279558]
回復可能性の回復に誤り認識を用いるCryticOPDを提案する。
教師は間違ったロールアウトを批判し、生徒はエラーの後に解を書き換えることができる。
Qwen3の2人の学生と6つの数学的推論ベンチマークにおいて、CriticOPDはOPDを改善し、競合問題で最大の利益を上げている。
論文 参考訳（メタデータ） (2026-10-14T17:54:34Z) - Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。
マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
論文 参考訳（メタデータ） (2026-10-07T20:29:29Z) - How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation [16.233057265893994]
本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。
Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
論文 参考訳（メタデータ） (2026-10-04T04:49:24Z) - Learning to Revise Reasoning with Segment-wise On-Policy Distillation [10.15202680899589]
オンライン蒸留は、教師から密集したトークン・ワイド・インフォメーションで生徒を自身のロールアウトで訓練することで、大きな言語モデル推論を改善する。
そこで我々は,不確実性尺度に基づいて学生セグメントを選択し,それに対応する教師の再教育を行うセグメンション・ワイド・オン・ポリシィ蒸留(Seg-OPD)を提案する。
数学的推論と競争的プログラミングタスクの実験は、Seg-OPDを訓練した学生がベースラインよりも高いリビジョン成功率を達成することを示している。
論文 参考訳（メタデータ） (2026-10-02T02:40:14Z) - On the Off-Policy Teacher in On-Policy Distillation [18.925850684279197]
SCOUT(Student-Conditioned Updates of the Teacher)は、教師を学生が作成したプレフィックスに適応させる学習フレームワークである。
SCOUTは,学生が生成した接頭辞から継続する教師の能力を向上し,学生条件の教師適応の意図したメカニズムを支持する。
論文 参考訳（メタデータ） (2026-09-29T18:22:05Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2026-07-04T21:51:22Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。