論文の概要: PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation

• arxiv url: http://arxiv.org/abs/2610.11167v1
• Date: Thu, 08 Oct 2026 03:24:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.76433
• Title: PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
• Title（参考訳）: PIVOT:垂直-ドメインFew-Shot蒸留のための複雑インフォームドKD-to-RL遷移スケジューリング
• Abstract要約: PIVOTは,教師が評価したシーケンスの難易度に応じてOPDとGRPOのサンプルをルーティングする動的遷移フレームワークである。 PIVOT は継続 OPD とグローバル同期 OPD$rightarrow$ GRPO のベースラインを、ウォームアップ後の学生最適化手順と同じ数で一貫して上回っている。
• 参考スコア（独自算出の注目度）: 38.31289613859437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vertical-domain few-shot classification remains challenging for small language models, as limited supervision makes it difficult to acquire domain-specific decision knowledge. On-Policy Distillation (OPD) can improve teacher-guided adaptation by supervising student-generated rollouts, while GRPO-based reinforcement learning can further refine downstream predictions. However, existing KD-to-RL pipelines typically rely on globally fixed transition schedules, ignoring that different samples may require different amounts of teacher-guided acquisition before reward-driven refinement. We propose PIVOT (Perplexity-Informed Transition Optimization), a dynamic transition framework that routes samples between OPD and GRPO according to teacher-evaluated sequence perplexity. PIVOT moves low-perplexity samples to GRPO for reward-driven refinement while keeping high-perplexity samples under OPD for continued domain knowledge acquisition. Experiments on Banking77 and HWU64 show that PIVOT consistently outperforms continued OPD and globally synchronized OPD$\rightarrow$GRPO baselines under the same number of post-warm-up student optimization steps, achieving stronger downstream performance and more stable training dynamics.
• Abstract（参考訳）: 限定的な監督がドメイン固有の決定知識の獲得を困難にしているため、小さな言語モデルでは、鉛直領域のいくつかのショット分類は依然として困難である。 On-Policy Distillation (OPD) は、生徒が生成したロールアウトを監督することで、教師が指導する適応を改善することができる一方、GRPOベースの強化学習は下流の予測をさらに洗練することができる。 しかし、既存のKD-to-RLパイプラインは一般的にグローバルに固定されたトランジションスケジュールに依存しており、報酬駆動の洗練の前には、異なるサンプルが異なる量の教師誘導による取得を必要とする可能性があることを無視している。 PIVOT(Perplexity-Informed transition Optimization)は,教師が評価したシーケンスのパープレキシティに応じてOPDとGRPOのサンプルをルーティングする動的遷移フレームワークである。 PIVOTは、低パープレキティサンプルをGRPOに移動させ、報酬駆動の精製を行い、高パープレキティサンプルをOPDの下で保持し、継続的なドメイン知識取得を行う。 Banking77とHWU64の実験は、PIVOTが継続的にPDを上回り、OPD$\rightarrow$GRPOのベースラインを、ウォームアップ後の学生最適化手順と同じ数でグローバルに同期させ、より強力なダウンストリーム性能とより安定したトレーニングダイナミックスを実現していることを示している。

関連論文リスト

• WAM-OPD: Sharpening World Action Models via On-Policy Distillation [84.1328443874472]
  事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供する。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 We show WAM-OPD improves target-task performance while maintaining near-itial performance on tasks excludeed by adapt。
  論文  参考訳（メタデータ） (2026-09-28T03:56:23Z)
• DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models [11.299607850340607]
  DreOPDは、フローマッチングモデルのための分解参照補間OPD法である。 DreOPD は OPD とマルチタスク RL のベースラインを平均性能で上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-10T07:55:57Z)
• D2PO: Optimizing Diffusion Samplers via Dynamic Preference [55.530862428116244]
  D2POは拡散サンプリングポリシーを最適化するための原則的なフレームワークである。 動的選好を導入し、アライメントに使用するサンプルを徐々に改善する。 実験により、D2POは拡散サンプリング器と知覚的品質をより忠実に整列することが示された。
  論文  参考訳（メタデータ） (2026-07-07T06:05:42Z)
• Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
  検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。 PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。 2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-06-05T07:43:22Z)
• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
  フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。 具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。 同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
  論文  参考訳（メタデータ） (2026-05-18T12:48:36Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning [63.73629127832652]
  本稿では,TDに基づく潜在予測表現を教師なしRLに活用するTD-JEPAを紹介する。 TD-JEPAは、明示的な状態とタスクエンコーダ、ポリシー条件付きマルチステップ予測器、パラメータ化されたポリシーのセットを潜時空間で直接訓練する。 実証的には、TD-JEPAは13のデータセットにわたる移動、ナビゲーション、操作のタスクにおいて、最先端のベースラインをマッチまたは上回る。
  論文  参考訳（メタデータ） (2025-10-01T10:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。