論文の概要: CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2611.07959v1
• Date: Thu, 05 Nov 2026 12:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.690236
• Title: CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation
• Title（参考訳）: CoRD:混成ロールアウトは、オンライン蒸留の盲点を埋める
• Abstract要約: CoRDは、学生のトークンを保持し、両者が同意し、それ以外は、学生のアンダーウェイトの一部からトークンを代用する。 凍結した教師状態では、CoRDで訓練された4Bの学生が16段階に到達し、オンライン蒸留が80に届かなかった。
• 参考スコア（独自算出の注目度）: 22.13956156078078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation trains a student on its own rollouts, so states the teacher would reach but the student does not are seldom supervised. We introduce CoRD (coupled-rollout distillation), which keeps the on-policy loss and moves only the distribution of training states toward the teacher, drawing rollouts from a geometric interpolation of student and teacher through the maximal coupling of speculative decoding. The coupling keeps the student's token wherever the two distributions agree and otherwise substitutes a token from the part of the target the student underweights, so interventions are as rare as any exact sampler allows and recede as the student learns. Across six base students from two model families (Qwen3 and Qwen3.5, 0.6B to 4B), CoRD raises average pass@1 over on-policy distillation by 0.9 to 2.0 points and pass@8 by 1.2 to 3.4 points on five public math benchmarks at equal steps and data. On frozen teacher-reached states, a 4B student trained with CoRD reaches in 16 steps a gap closure that on-policy distillation does not reach in 80, and substitution rules intervening at least as often in other directions fall short of CoRD.
• Abstract（参考訳）: オンライン蒸留は、生徒を自身のロールアウトで訓練するので、教師が到達するが、学生は滅多に監督されない。 筆者らは,CoRD(Coupled-rollout distillation)を導入し,学習状態の分布のみを教師へ移動させ,投機的復号の最大結合を通して,学生と教師の幾何学的補間からロールアウトを引き出す。 この結合は、2つの分布が一致する場合の生徒のトークンを保持し、それ以外は、学生の下級生の標的部分からトークンを置換する。 2つのモデルファミリー(Qwen3とQwen3.5、0.6Bから4B)の6人のベース学生の間で、CoRDは、オンライン蒸留における平均パス@1を0.9から2.0ポイント、パス@8を1.2から3.4ポイント引き上げている。 凍結した教師状態では、CoRDで訓練された4B学生が16ステップで到達し、オンライン蒸留が80に到達しないことのギャップを閉じる。

関連論文リスト

• When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
  単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。 17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
  論文  参考訳（メタデータ） (2026-10-08T05:54:03Z)
• DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
  DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。 判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。 DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
  論文  参考訳（メタデータ） (2026-10-01T17:59:01Z)
• From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
  オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
  論文  参考訳（メタデータ） (2026-09-29T13:06:14Z)
• On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers [0.0]
  我々は、強化学習のレンズを通してリランカー蒸留を再考する。 そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-09-01T23:36:19Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Pass the Baton: Trajectory-Relayed On-Policy Distillation [23.50689651536186]
  オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。 Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。 トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:46Z)
• Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
  オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。 いずれの読解も、完成した軌跡の結果によって構築されていることを示す。 最終回答の正しさを両立させた結果解決診断法を提案する。
  論文  参考訳（メタデータ） (2026-07-26T16:03:33Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。