論文の概要: SAPD: Step-Aligned Privileged Distillation

• arxiv url: http://arxiv.org/abs/2610.09665v1
• Date: Wed, 07 Oct 2026 08:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.799581
• Title: SAPD: Step-Aligned Privileged Distillation
• Title（参考訳）: SAPD:ステップアライメント・プリビレグド蒸留
• Abstract要約: オンラインのポストトレーニングは、自分自身の軌道から学習することで、大きな言語モデルを改善することができるが、コストがかかるロールアウト生成が必要になる。 我々は、より優れた監督を通じて、固定的なデモが政治以外の競争的な学習を支援するかどうかを問う。 本研究では,ロールアウト不要な自己蒸留法であるPSD(Step-Aligned Privileged Distillation)を導入する。
• 参考スコア（独自算出の注目度）: 10.291416958002076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy post-training can improve large language models by learning from their own trajectories, but requires costly rollout generation. We ask whether fixed demonstrations can support competitive off-policy learning through better supervision. Our premise is that their usefulness depends not only on the training trajectories, but also on whether supervision provides informative preferences among continuations and connects this guidance to the reasoning decision being learned. We introduce Step-Aligned Privileged Distillation (SAPD), a rollout-free self-distillation method that turns demonstrations into step-aligned distributional supervision. Its key insight is to use the known progression of a reference solution to associate each reasoning transition with targeted privileged guidance, rather than treating the solution as undifferentiated context. On mathematical reasoning benchmarks, SAPD outperforms supervised fine-tuning and label smoothing on average while remaining competitive with on-policy reinforcement learning and self-distillation. Analyses support both the value of context-dependent distributional guidance and the benefit of aligning privileged information with the current step. SAPD also largely preserves out-of-domain coding performance and achieves approximately 2x training-loop speedups over the on-policy baselines. These findings suggest that carefully constructed supervision can make fully off-policy post-training a competitive and computationally efficient alternative. Our code is available at https://github.com/Miaow-Lab/SAPD.
• Abstract（参考訳）: オンラインのポストトレーニングは、自分自身の軌道から学習することで、大きな言語モデルを改善することができるが、コストがかかるロールアウト生成が必要になる。 我々は、より優れた監督を通じて、固定的なデモが政治以外の競争的な学習を支援するかどうかを問う。 我々の前提は、それらの有用性は、訓練軌跡だけでなく、監督が継続間の情報的嗜好を提供するかどうかにも依存し、このガイダンスを学習された推論決定に結び付けることである。 本研究では,ロールアウト不要な自己蒸留法であるPSD(Step-Aligned Privileged Distillation)を導入する。 その重要な洞察は、参照ソリューションの既知の進歩を利用して、ソリューションを未分化のコンテキストとして扱うのではなく、それぞれの推論遷移と目標とする特権的なガイダンスを関連付けることである。 数学的推論のベンチマークでは、SAPDは教師付き微調整とラベルのスムース化を平均で上回り、オンラインの強化学習や自己蒸留と競合する。 分析は、コンテキスト依存の分散ガイダンスの価値と、特権情報と現在のステップの整合性の両方をサポートする。 SAPDはドメイン外のコーディング性能を保ち、オンラインベースラインで約2倍のトレーニングループスピードアップを実現している。 これらの結果は、注意深く構成された監督が、競争力と計算効率のよい代替手段として、完全に非政治的なポストトレーニングを可能にすることを示唆している。 私たちのコードはhttps://github.com/Miaow-Lab/SAPD.comで公開されています。

関連論文リスト

• ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents [20.898392640912853]
  ComputerSDは、コンピュータ使用エージェントのオンライン自己蒸留方法である。 実行中のGUIトランジションからのリアルタイムフィードバックをポリシー学習のガイダンスに変換する。
  論文  参考訳（メタデータ） (2026-09-30T17:40:09Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Learning from the Self-future: On-policy Self-distillation for dLLMs [26.01772590639938]
  私たちは、dLLM用に調整された最初のOPSDフレームワークであるd-OPSDを紹介します。 まず,自己生成型回答を接尾辞条件として用いることで,自己学習者構築を再構築する。 第二に、トークンレベルからステップレベルへと監督をシフトし、dLLMの反復的認知プロセスとトレーニングを整合させる。
  論文  参考訳（メタデータ） (2026-06-16T17:24:57Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
  検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。 PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。 2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-06-05T07:43:22Z)
• TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
  VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。 近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。 VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か? 我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-06-02T04:10:39Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。