論文の概要: On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
- arxiv url: http://arxiv.org/abs/2609.01947v1
- Date: Tue, 01 Sep 2026 23:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.010486
- Title: On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
- Title（参考訳）: オン・ポリシィ蒸留とオフ・ポリシィGRPO: コンパクトインストラクション・フォロー・リランカの訓練
- Abstract要約: 我々は、強化学習のレンズを通してリランカー蒸留を再考する。
そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compact instruction-following rerankers are attractive for deployment, but conventional distillation pipelines typically train students by offline imitation of teacher outputs on a fixed set of examples, constraining supervision to the teacher's observed ranking space. We revisit reranker distillation through the lens of reinforcement learning. We propose a two-stage framework combining off-policy teacher optimization with on-policy student distillation. In Stage 1, a 4B teacher reranker is strengthened with off-policy GRPO using LLM-judge feedback on 88K instruction-following examples. In Stage 2, a compact 1B student samples rankings from its own policy and receives soft teacher-derived rewards on those rankings, coupling student exploration with knowledge transfer. Our strongest gains appear under distribution shift. On MAIR-11, the original 11-subset, 869-query evaluation, the proposed student reaches 0.7670 nDCG@6, outperforming offline listwise KD by +4.6 points. Controlled comparisons against offline pairwise RankNet KD and on-policy GKD show that neither changing the offline distillation objective nor moving teacher-distribution matching on-policy reproduces the performance of reward-based on-policy distillation over student-sampled rankings. The advantage persists on MAIR-Full: across all 126 tasks and 9,356 queries, the proposed method obtains the highest task-macro point estimates among the evaluated distillation variants, reaching 0.6808 nDCG@6 and 0.7865 MRR@6. It also exceeds two released 7B RL-trained rerankers on the comparable MAIR-11 evaluation, while the same Stage 2 training procedure consistently improves three architecturally distinct alternative student backbones. On the 9,861-query validation benchmark, the resulting 1B reranker achieves 0.7624 nDCG@6 while providing a favorable quality-efficiency tradeoff relative to larger alternatives.
- Abstract（参考訳）: 小型の指導追従リランカは配置に魅力的であるが,従来の蒸留パイプラインは,教師の観察したランキング空間に監督を拘束する固定された例に基づいて,教師の出力をオフラインで模倣することによって,学生を訓練する。
我々は、強化学習のレンズを通してリランカー蒸留を再考する。
そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
ステージ1では、88Kの指示追従例に対するLLM-judgeフィードバックを用いて、4Bの教師リランカーを非政治GRPOで強化する。
ステージ2では、コンパクトな1B学生が自己の方針からランキングを抽出し、それらのランキングに対してソフトな教師由来の報酬を受け取り、学生の探索と知識伝達を結びつける。
配当シフトが進む中で、当社の最大の利益が浮かび上がっている。
元の11サブセットであるMAIR-11では、提案した学生は0.7670 nDCG@6に達し、オフラインリストワイドのKDを+4.6ポイント上回った。
オフライン対ランクネットKDとオンラインGKDの比較により, オフライン蒸留目標の変更や, 移動型教員分配マッチングは, 生徒のランクに対する報酬ベースオンライン蒸留のパフォーマンスを再現するものではないことが示された。
提案手法は,全126のタスクと9,356のクエリにまたがって,評価された蒸留変種の中で最も高いタスク・マクロ点推定値を求め,0.6808 nDCG@6 および 0.7865 MRR@6 に達した。
また、MAIR-11の評価でリリースされた7B RLトレーニングのリランカーは2つを超えており、同じStage 2トレーニング手順では、3つのアーキテクチャ的に異なる代替の学生バックボーンが一貫して改善されている。
9,861クエリの検証ベンチマークでは、結果の1Bリランカが0.7624 nDCG@6を達成すると同時に、より大きな代替品と比較して良好な品質効率のトレードオフを提供する。
関連論文リスト
- Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。
本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。
連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
論文 参考訳（メタデータ） (2026-09-08T14:26:35Z) - CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation [49.0564416580726]
我々は,クロスアテンティブ・リランカの組成判断を埋め込みモデルに蒸留する。
我々は,CORE-RERANKER-8Bが平均82.7%を達成し,Janna-Rerankerを10.7ポイント上回ったことを示す。
改良はCOCOとFlickr30Kでの検索性能を犠牲にすることなくMCMRベンチマークに転送される。
論文 参考訳（メタデータ） (2026-09-03T16:50:29Z) - Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation [7.296659715681798]
検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。
SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
論文 参考訳（メタデータ） (2026-08-10T16:43:18Z) - Pass the Baton: Trajectory-Relayed On-Policy Distillation [23.50689651536186]
オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。
Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。
トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
論文 参考訳（メタデータ） (2026-07-28T17:59:46Z) - Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。
Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
論文 参考訳（メタデータ） (2026-06-08T06:20:12Z) - When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。
既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。
そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-05-20T18:14:03Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Scaling Reasoning Efficiently via Relaxed On-Policy Distillation [49.39199261602195]
REOPOLD(Relaxed On-Policy Distillation)は、標準的なオンライン蒸留の厳密な模倣制約を緩和することで最適化を安定化するフレームワークである。
特に、REOPOLDは、混合型報酬クリッピング、エントロピーベースのトークンレベルのダイナミックサンプリング、および統一的な探索・縮小訓練戦略を通じて、教師の報酬を選択的に活用する。
論文 参考訳（メタデータ） (2026-03-11T16:26:52Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳（メタデータ） (2026-02-26T00:20:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。