論文の概要: OPDArena: Understanding Learning and Forgetting in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.25651v1
• Date: Mon, 19 Oct 2026 01:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:43:45.940952
• Title: OPDArena: Understanding Learning and Forgetting in On-Policy Distillation
• Title（参考訳）: OPDArena: オンライン蒸留における学習と予測の理解
• Abstract要約: 教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。 RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。 制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
• 参考スコア（独自算出の注目度）: 55.0530106449001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) is increasingly used for language model post-training, yet how teacher supervision shapes learning and forgetting remains unclear. We present OPDArena, a framework comparing supervised fine-tuning (SFT), reinforcement learning with verifiable rewards (RLVR), and OPD across five pretrained models and diverse teacher sources. It jointly evaluates mathematical learning, general capability retention, and predictive distribution changes. Teacher choice strongly shapes retention: students of RLVR-trained teachers improve on the target task while retaining prior capabilities, whereas students of SFT-trained teachers incur greater capability loss. Across post-training methods, out-of-domain (OOD) distribution change shows a more consistent positive association with forgetting than in-domain change. To understand how teacher choice affects these changes, we examine the additional information teachers provide relative to the student's pretrained model. Controlled teacher comparisons show that the task-specific preferences teachers acquire through post-training make student updates more concentrated in-domain.
• Abstract（参考訳）: オンライン蒸留(OPD)は、言語モデルのポストトレーニングにますます使われているが、教師の指導が学習や忘れをどう形作るかは、まだ不明である。 本稿では,教師付き微調整(SFT),強化学習(RLVR),OPD(OPDArena)を5つの事前学習モデルと多様な教師源で比較するフレームワークであるOPDArenaを提案する。 数学的学習、一般的な能力保持、予測分布の変化を共同で評価する。 RLVR教育を受けた教師の生徒は、事前の能力を維持しながら目標課題を改善し、SFT訓練を受けた教師の生徒は、能力損失が大きい。 トレーニング後の方法全体では、ドメイン外(OOD)の分布変化は、ドメイン内の変化よりも、忘れることとより一貫性のある正の相関を示す。 教師の選択がこれらの変化にどのように影響するかを理解するために,教師が事前学習したモデルに対して付加的な情報を提供するかを検討する。 制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。

関連論文リスト

• Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation [10.774348481056085]
  我々は,教師と学生をオンライン蒸留(OPD)に適合させるものについて検討する。 特に,本研究の枠組みは,教師が学習する推論パターン,教師の能力,学生の多様性など,PDのためのデシラタを取り入れている。 我々は、数学、コーディング、カーネル生成、視覚的推論といった分野における広範な実験結果を用いて、この研究結果を裏付ける。
  論文  参考訳（メタデータ） (2026-10-15T04:26:33Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers [14.928358057434394]
  強化学習は理科教師を著しく改善させることができるが、教師がより小さな政治学の学生を監督する場合にその改善が残るかは定かではない。 本研究では, GRPO前後の教師系統, 複数の学生尺度, 直接GRPO, およびいくつかのオンライン蒸留目標を比較して, 数学的推論においてこの問題を考察する。
  論文  参考訳（メタデータ） (2026-10-05T08:26:20Z)
• On the Off-Policy Teacher in On-Policy Distillation [18.925850684279197]
  SCOUT(Student-Conditioned Updates of the Teacher)は、教師を学生が作成したプレフィックスに適応させる学習フレームワークである。 SCOUTは,学生が生成した接頭辞から継続する教師の能力を向上し,学生条件の教師適応の意図したメカニズムを支持する。
  論文  参考訳（メタデータ） (2026-09-29T18:22:05Z)
• TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL [2.368125721547952]
  マルチターンエージェントは、長い地平線上での情報収集、行動、フィードバックを調整する戦略を必要とする。 オンライン蒸留(OPD)によりRLを増強する最近の方法 潮流は教師の指導と報奨による更新を共同で調整する。
  論文  参考訳（メタデータ） (2026-09-28T12:51:48Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
  bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-18T11:00:44Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。