論文の概要: Rethinking Relative Policy Differences Transfer of On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.13205v1
• Date: Fri, 09 Oct 2026 08:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.477262
• Title: Rethinking Relative Policy Differences Transfer of On-Policy Distillation
• Title（参考訳）: 相対的政策差の再考 : オン・ポリシィ蒸留の移行
• Abstract要約: 我々は、プロキシエキスパートとプロキシリファレンスの対数確率比が、KL規則化されたポリシー最適化に対する暗黙の報酬を定義する統一的な視点を開発する。 第一に、より強力な専門家は、必ずしもより良い監督源であるとは限らない。 成功するためには、ターゲットをエキスパートに移動させ、サンプルロールアウトを越えて一般化する必要がある。
• 参考スコア（独自算出の注目度）: 31.1340268944859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a target policy on its own rollouts using token-level supervision from a stronger teacher, but typically relies on the teacher being substantially more capable than the target. Recent work relaxes this requirement by transferring the relative policy difference between an expert and a reference policy rather than the expert's absolute distribution. Yet it remains unclear which differences provide useful supervision and which targets can benefit from them. We develop a unified view in which the log-probability ratio between a proxy expert and a proxy reference defines an implicit reward for KL-regularized policy optimization. This formulation induces an on-policy update for the target, recovers conventional OPD as a special case, and enables any-to-any transfer across models that differ in scale, training stage or generation. Our systematic experiments yield three findings. First, a stronger expert is not necessarily a better source of supervision: differences induced by task-specific training, including reinforcement learning and supervised fine-tuning, transfer consistently, whereas those arising from model scale alone transfer weakly or not at all. Second, the expert and reference serve complementary roles: the expert provides the capability to be transferred, while the reference filters out shared behavior and isolates the relevant residual. Third, even a useful difference does not transfer to every target: success requires the induced update to move the target toward the expert and generalize beyond sampled rollouts. Raw policy distance does not predict transferability, whereas an appropriate reference can rescue otherwise unsuccessful transfer. These results characterize when relative policy differences provide effective supervision for OPD.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師からのトークンレベルの監督を用いて、自身のロールアウトでターゲットポリシーを訓練するが、典型的には、ターゲットよりもはるかに高い能力を持つ教師に依存している。 最近の研究は、専門家の絶対分布ではなく、専門家と参照政策の相対的な政策差を移すことによって、この要求を緩和している。 しかし、どの違いが有益な監視を提供するのか、どのターゲットが彼らから恩恵を受けられるのかは不明だ。 我々は、プロキシエキスパートとプロキシリファレンスの対数確率比が、KL規則化されたポリシー最適化に対する暗黙の報酬を定義する統一的な視点を開発する。 この定式化は、ターゲットに対するオンライン更新を誘導し、従来型のPDを特別なケースとして回収し、スケール、トレーニングステージ、世代で異なるモデル間での任意の転送を可能にする。 私たちの体系的な実験は3つの結果をもたらす。 強化学習や教師付き微調整を含むタスク固有のトレーニングによって引き起こされる違いは、一貫して伝達される一方、モデルスケール単独で生じるものは、弱いか全く移行されない。 第2に、専門家と参照は相補的な役割を担い、専門家は転送する能力を提供し、一方、参照は共有された振る舞いをフィルタリングし、関連する残留物を分離する。 成功するためには、ターゲットをエキスパートに移動させ、サンプルロールアウトを越えて一般化する必要がある。 ルートポリシー距離は転送可能性を予測しないが、適切な参照は転送が失敗する可能性がある。 これらの結果は、相対的な政策差がOPDを効果的に監督するときに特徴付けられる。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
  GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。 GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
  論文  参考訳（メタデータ） (2026-07-30T11:49:46Z)
• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks [89.13372484640392]
  LLM-as-a-JudgeからLLM-as-a-Coachへのフィードバックモデルを再利用した経験的学習(EL)を提案する。 ELは、保持された未確認のオープンエンドタスクにおいて、ルブリックベースのRLを一貫して上回る。 これらの知見は、検証不可能なタスクのポストトレーニングにおいて、より豊かでより一般化可能な学習信号として経験的知識を確立した。
  論文  参考訳（メタデータ） (2026-07-20T16:08:49Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• Trust Region On-Policy Distillation [38.98697509635889]
  On-Policy Distillation (OPD) は、大規模言語モデルの効率的なポストトレーニング手法である。 この研究は、信用割当戦略を通じて、信頼できるオン・ポリティクスのトークンレベルの監督に対処する。 実験の結果、TrOPDはSoTA OPDベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2026-05-31T14:04:51Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。