論文の概要: Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets

• arxiv url: http://arxiv.org/abs/2610.27467v1
• Date: Tue, 20 Oct 2026 01:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.578888
• Title: Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets
• Title（参考訳）: 投射蒸留 : 閉じた正しいターゲットから難しい問題を解くための学習について
• Abstract要約: オンライン政治学習は、教師から次々に監督されるが、ロールアウトが早期に失敗すると、後続の監督は、既に間違いを含む接頭辞に条件付けされる。 提案手法は, 学生の試行錯誤を最小限に編集し, 適正な目標に向けての蒸留手法を提案する。 当社の主張は、オンライン修正の重要性、対照的な損失、および政治上の重要性を強調しています。
• 参考スコア（独自算出の注目度）: 10.017145103474038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy learning is central to post-training: training on a model's own generations limits distribution shift and helps preserve existing capabilities. On hard problems, however, on-policy RL provides no reward-based learning signal when all attempts fail. On-policy distillation provides next-token supervision from a teacher, but on hard problems, if a rollout goes wrong early, subsequent supervision is conditioned on prefixes that already contain the mistake. Correct behavior can instead come from a gold or teacher solution, but such off-policy targets can differ substantially from the model's generations and, as we show, may erode existing capabilities. We therefore treat on-policyness as a continuum and propose projected distillation, which minimally edits the student's failed attempts into correct targets. The method uses contrastive updates to favor corrections over failed attempts and refreshes these corrections as the student evolves, enabling near-on-policy learning even when all student attempts fail. Theoretically, we prove that the student's learning regret grows with the edit size: it scales linearly with the horizon under minimal correction, as in DAgger, and quadratically under full-answer replacement, as in behavior cloning. Empirically, across two students (Qwen3-8B and OLMo-2-7B) and five domains spanning math, code, science, and tool use, projected distillation gives the highest area under the specialization-retention frontier (best on 8 of 9 cells against GRPO and OPD, and 7 of 9 against SPOT and SODA). Our ablations highlight the importance of online corrections, the contrastive loss, and on-policyness: moving targets farther off-policy steadily worsens the specialization-retention trade-off, with retention falling from 0.916 to 0.744 when minimal corrections are replaced by student-agnostic gold solutions.
• Abstract（参考訳）: モデル自身の世代でのトレーニングは、分散シフトを制限し、既存の機能を維持するのに役立つ。 しかし、困難な問題では、政治上のRLは全ての試みが失敗すると報酬に基づく学習信号を提供しない。 オンライン蒸留は、教師から次々に監督されるが、ロールアウトが早期に失敗すると、その後の監督は、既に間違いを含む接頭辞に条件付けされる。 正しい振る舞いは、代わりに金や教師のソリューションから得ることができるが、そのような非政治的なターゲットは、モデル世代と大きく異なる可能性があり、私たちが示すように、既存の能力を損なう可能性がある。 そこで我々は, 学生の失敗した試みを的確な目標に最小限に編集する, 連続体としてのオン・ポリティネスを扱い, 投射蒸留を提案する。 この方法は、失敗した試みよりも修正を優先するために対照的な更新を使用し、学生が進化するにつれてこれらの修正をリフレッシュし、すべての学生が失敗しても、ほぼ政治的な学習を可能にする。 理論的には、学生の学習後悔は編集サイズとともに増大し、DAggerのように最小限の修正の下で水平線と共に直線的にスケールし、行動クローニングのようにフル・アンサー・リプレース(英語版)の下で2次的にスケールする。 実証実験では、2人の学生(Qwen3-8BとOLMo-2-7B)と数学、コード、科学、道具の使用にまたがる5つの領域にまたがって、投射蒸留は特殊化保留フロンティア(GRPOとOPDに対して9細胞中8細胞、SPOTとSODAに対して9細胞中7細胞)の最も高い領域を与える。 最小限の修正が学生非依存の金解に置き換わる場合には、その維持は0.916から0.744に低下する。

関連論文リスト

• Correcting or Continuing? What On-Policy Distillation Learns from Student Errors [25.947529576014006]
  オンライン蒸留(On-policy distillation、OPD)は、学生を凍結教師の下で自前のロールアウトで訓練し、非政治監督の流通ミスマッチを緩和する。 Qwen-3 と Phi-4 モデルを用いた 5 つの代表 OPD 機構を統一的な競合数学プロトコルで評価した。 トレーニングKLのばらつきが持続的に低下しているにもかかわらず,ほとんどのメカニズムは性能を劣化させ,OPDはハードサブセットの精度を向上しないことがわかった。 対照的に、同じパイプラインは、トレーニングが障害に集中していない場合の精度を4.6ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-13T09:10:58Z)
• Anatomy of a Closed-Loop Collapse: A Causal Case Study of a Compressed VLA Policy [0.0]
  圧縮された操作ポリシーは、クローズドループ実行中にオフライン評価をパスすることができる。 自然発生症例の因果解剖に寄与する。 最小ペアの介入は、トレーニングストリームの半分を配置配信の教師ロールアウトに置き換える。
  論文  参考訳（メタデータ） (2026-09-19T14:29:25Z)
• Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback [24.756084698191568]
  大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。 しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。 本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T17:15:40Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
  ツール統合推論は、小さな言語モデルにスケールすることが難しい。 近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。 スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:30:42Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。