論文の概要: CD-OPD: Contextual Digest for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.25359v1
• Date: Sun, 18 Oct 2026 16:02:50 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:05:08.907019
• Title: CD-OPD: Contextual Digest for On-Policy Distillation
• Title（参考訳）: CD-OPD : オンライン蒸留におけるコンテキストダイジェスト
• Abstract要約: オンライン蒸留(CD-OPD)のための文脈消化法を提案する。 CD-OPDは教師生成依存グラフを通じて教師指導の初期の文脈を構成する。 既存のOPD法よりも平均精度が1.32～7.05ポイント向上する。
• 参考スコア（独自算出の注目度）: 13.363237312598216
• License:
• Abstract: Teacher takeover in on-policy distillation (OPD) can produce incorrect responses even when the student and teacher independently answer the same problem correctly, a failure we quantify using Collaboration Failure Rate (CFR). To address it, we propose Contextual Digest for On-Policy Distillation (CD-OPD). CD-OPD structures the earlier context of teacher guidance through a teacher-generated dependency graph, curating the required problem conditions and preceding reasoning as node summaries alongside the unchanged guidance in a Contextual Digest before student continuation. We further develop online meta-reweighting, which compares Digest segment gradients with a task gradient from independent student responses to improve student-only performance, favoring updates predicted to reduce task loss. Across eight benchmarks, CD-OPD improves average accuracy by 1.32--7.05 percentage points over representative existing OPD methods. It also reduces CFR by 27.4\%--56.4\% relative to existing takeover-based OPD methods.
• Abstract（参考訳）: オンライン蒸留(OPD)における教師の乗っ取りは、学生と教師が独立して同じ問題に正しく答えたとしても、誤った反応を生じさせる可能性がある。 そこで我々は,CD-OPD (Contextual Digest for On-Policy Distillation) を提案する。 CD-OPDは教師が生成する依存性グラフを通じて教師指導の初期の文脈を構造化し、必要な問題条件を計算し、学生継続前のコンテキストダイジェストにおける変化しない指導と並んでノードサマリーとしての事前の推論を行う。 さらに、ディジェストセグメント勾配と、独立した学生反応からのタスク勾配を比較して、学生のみのパフォーマンスを向上させるオンラインメタリヘアリングを開発し、タスク損失を減らすために予測された更新を優先する。 8つのベンチマークで、CD-OPDは既存のOPD法よりも平均精度を1.32--7.05ポイント向上させ、既存のOPD法と比較してCFRを27.4\%--56.4\%削減する。

関連論文リスト

• Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models [22.853339754424812]
  オンライン蒸留(OPD)は、より強い教師の監督のもと、自作の軌跡を訓練することで、生徒の言語モデルを改善する。 本研究では,教師が質問条件に敏感に対処できるように,コンディションコントラスト外挿オンポリシィ蒸留(CCE-OPD)を導入する。 CCE-OPD は、Qwen3-8B を 0.6B と 1.7B の学生に蒸留した場合、平均 1.60 と 1.95 の比率で、OPD よりも avg@8 を改善する。
  論文  参考訳（メタデータ） (2026-10-15T03:55:34Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Learning to Revise Reasoning with Segment-wise On-Policy Distillation [10.15202680899589]
  オンライン蒸留は、教師から密集したトークン・ワイド・インフォメーションで生徒を自身のロールアウトで訓練することで、大きな言語モデル推論を改善する。 そこで我々は,不確実性尺度に基づいて学生セグメントを選択し,それに対応する教師の再教育を行うセグメンション・ワイド・オン・ポリシィ蒸留(Seg-OPD)を提案する。 数学的推論と競争的プログラミングタスクの実験は、Seg-OPDを訓練した学生がベースラインよりも高いリビジョン成功率を達成することを示している。
  論文  参考訳（メタデータ） (2026-10-02T02:40:14Z)
• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Learning from a Thoughtful Teacher: Adaptive On-Policy Self-Distillation for Mathematical Reasoning [8.090139988796041]
  On-policy Self-distillation (OPSD)は、教師からのトークンレベルのフィードバックで質問専用学生を訓練し、訓練専用特権情報(PI)を付与する。 予備診断では, 学生の学習能力と教師の効用との間に有意な差があることが示唆された。 本稿では,教師がどのような情報を受け取り,そのフィードバックが学習に与える影響を強く評価する適応型オンライン自己蒸留(AOPSD)を提案する。
  論文  参考訳（メタデータ） (2026-09-26T14:23:15Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Reward-Gated On-Policy Distillation [58.187458236302575]
  オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。 RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。 RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2026-07-04T21:51:22Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。