論文の概要: On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation

• arxiv url: http://arxiv.org/abs/2611.05609v1
• Date: Tue, 03 Nov 2026 20:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.847176
• Title: On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
• Title（参考訳）: ポストRL固化におけるオンライン蒸留の一般化限界について
• Abstract要約: 多官能蒸留(MOPD)は、多官能蒸留(OPD)を拡張して複数の教員の能力を集約する。 合成推論の予備的研究は、OPDが教師の一般化能力を完全に伝達していないことを示している。 外挿設定全体では、PDとMOPDは教師のINDスコアの96.04-102.73%に達しているが、そのアウト・オブ・ディストリビューション(OOD)スコアはベースモデルより2.45-16.25%低いままである。
• 参考スコア（独自算出の注目度）: 11.042507838755206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-teacher on-policy distillation (MOPD) extends on-policy distillation (OPD) to consolidate capabilities from multiple teachers. Although prior work reports near-perfect in-distribution (IND) distillation performance, we find that this can mask incomplete capability consolidation beyond the supervised distribution. A preliminary study on synthetic reasoning shows that OPD does not fully transfer teachers' generalization capabilities. We then extend this investigation to real-world tasks, evaluating extrapolative and compositional generalization across mathematical reasoning, coding, agent, and long-context capabilities using Qwen3 models. Across extrapolative settings, OPD and MOPD reach 96.04-102.73% of their teachers' IND scores. Yet their out-of-distribution (OOD) scores remain 2.45-16.25% below the base model's. Across three compositional settings, MOPD improves IND performance over the base model, but its performance on composed tasks as OOD remains 18.19-24.34% below that of the best teachers. To understand these gaps, we examine teacher capability and data coverage as two potential bottlenecks. Jointly alleviating these bottlenecks eliminates OOD forgetting in our experiments and suggests the potential for generalization beyond the teacher. (M)OPD also reduces OOD forgetting on average relative to its reinforcement learning (RL) baselines. Analysis of the associated update geometry reveals smaller and more spectrally concentrated updates on average than those of the RL baselines, along with greater shared update structure under MOPD. Motivated by these findings, we propose geometry-based patching and base-preserving replay to improve OOD performance while largely preserving IND performance. Our findings identify a blind spot in capability consolidation via (M)OPD, highlighting the need for algorithms that explicitly support OOD retention and generalization.
• Abstract（参考訳）: 多官能蒸留(MOPD)は、多官能蒸留(OPD)を拡張して複数の教員の能力を集約する。 従来の研究報告では, ほぼ完全不均質蒸留(IND)の蒸留性能は報告されているが, 制御された分布を超える不完全な機能強化を隠蔽できることが判明した。 合成推論の予備的研究は、OPDが教師の一般化能力を完全に伝達していないことを示している。 次に,本研究を実世界のタスクに拡張し,Qwen3モデルを用いた数学的推論,コーディング,エージェント,長期コンテキスト能力の補間的および構成的一般化を評価する。 補外的設定全体で、PDとMOPDは教師のINDスコアの96.04-102.73%に達する。 しかし、アウト・オブ・ディストリビューション(OOD)スコアはベースモデルより2.45-16.25%低いままである。 3つの構成的な設定で、MOPDはベースモデルよりもINDのパフォーマンスを改善するが、OODとして構成されたタスクのパフォーマンスは最高の教師より18.19-24.34%低いままである。 これらのギャップを理解するために,教師の能力とデータカバレッジを2つの潜在的なボトルネックとして検討する。 これらのボトルネックを和らげることで、OODは実験で忘れられなくなり、教師以外の一般化の可能性も示唆される。 (M)OPDは、強化学習(RL)ベースラインに対する平均的なOOD忘れを減少させる。 関連した更新幾何学の解析では、MOPDの下での共有更新構造とともに、RLベースラインのそれよりも平均的に、より小さく、スペクトル的に集中した更新が示される。 これらの結果から,OOD性能を向上し,IND性能を保ちつつ,幾何ベースのパッチとベース保存リプレイを提案する。 以上の結果から,OOD保持と一般化を明確に支援するアルゴリズムの必要性が示唆された(M)OPDによる機能統合の盲点が明らかになった。

関連論文リスト

• Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation [5.570608951400019]
  マルチティーチンガー・オン・ポリシー蒸留は、ドメインスペシャリストを共有学生に統合する。 相違に基づくアロケーションは、生徒が既に教師のタスクパフォーマンスに適合または超えている場合でも、強力な監督を割り当てることができる。 本稿では,生徒がすでに学んだことを考慮し,能力を考慮したマルチティーチンガー・オン・ポリシィ蒸留(CA-MOPD)を提案する。
  論文  参考訳（メタデータ） (2026-10-18T09:09:06Z)
• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
  LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。 具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。 我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
  論文  参考訳（メタデータ） (2026-05-05T12:15:21Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning [48.041170200238206]
  DASD-4B-Thinkingは軽量で高機能で完全なオープンソース推論モデルである。 これは、数学、科学的推論、コード生成の挑戦的なベンチマークにおいて、同等規模のオープンソースのモデル間でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:43:17Z)
• The Hidden Link Between RLHF and Contrastive Learning [56.45346439723488]
  RLHF(Reinforcement Learning from Human Feedback)とDPO(Simple Direct Preference Optimization)は相互情報(MI)の観点から解釈可能であることを示す。 このフレームワーク内では、RLHFとDPOの両方を、ベースモデルから派生した正と負のサンプルに基づいて対照的な学習を行う方法として解釈することができる。 そこで本稿では,DPO で観測される選択的傾向の後期的低下を軽減するための相互情報最適化 (MIO) を提案する。
  論文  参考訳（メタデータ） (2025-06-27T18:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。