論文の概要: DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.33711v1
• Date: Sun, 27 Sep 2026 16:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:29:00.860169
• Title: DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation
• Title（参考訳）: DuoOPD:マルチタスクオンポリシィ蒸留における共同教師学生の成果から学ぶ
• Abstract要約: DuoOPDは、より強い教師からのトークンレベルのフィードバックで、生徒に独自のレスポンスでトレーニングする。 教師のみが成功すると、その正解は学生の失敗する反応を評価する文脈となる。 1つのルールはタスク固有の設定なしで4つの結果の組み合わせをカバーします。
• 参考スコア（独自算出の注目度）: 21.879988758181312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own responses with token-level feedback from a stronger teacher, yet the teacher can fail on questions the student already answers correctly, and how often each model succeeds varies across tasks. OPD ignores these outcomes and, on average, pushes down even the student's correct responses; gating feedback by student correctness fixes the direction but uses the teacher in the same way whether or not it succeeded. We introduce DuoOPD, in which the student's outcome sets the direction of feedback and the joint teacher-student outcome decides how the teacher supports it: when only the teacher succeeds, its verified answer becomes context for scoring the student's failed response, and when only the student succeeds, a weight shared within the task reinforces the whole response. A single rule covers all four outcome combinations without task-specific settings. Across Qwen3 and Llama, DuoOPD outperforms all five baselines in mean macro accuracy, improving over OPD by 2.58 and 5.98 percentage points, and it also leads on two further task mixtures spanning scientific calculation, instruction following, and code generation. Ablations show that outcome-based direction alone stays near the gated baseline, while the joint-outcome designs supply most of the gain.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師からのトークンレベルのフィードバックで生徒自身の反応を訓練するが、教師は生徒がすでに答えている質問に失敗し、各モデルが成功する頻度はタスクによって異なる。 OPDはこれらの結果を無視し、平均的に生徒の正しい反応でさえ押し下げる。学生の正しさによるフィードバックのゲーティングは方向を固定するが、成功したかどうかに関わらず同じ方法で教師を使用する。 そこで,DuoOPDを導入すると,学生の成果がフィードバックの方向を定め,共同教師と学生の成果が教師の支持方法を決定する。教師が成功すると,その正解が学生の失敗反応を評価する文脈となり,学生のみが成功すると,タスク内で共有される重みが全体の反応を補強する。 1つのルールはタスク固有の設定なしで4つの結果の組み合わせをカバーします。 Qwen3 と Llama 全体では、DuoOPD は平均マクロ精度で5つのベースラインを上回り、OPD よりも 2.58 と 5.98 のパーセンテージで改善され、科学計算、命令追従、コード生成にまたがる2つのタスクが混在する。 アブレーションは、結果に基づく方向のみがゲートベースラインの近くにとどまっていることを示しているが、共同アウトカムの設計は利得の大部分を供給している。

関連論文リスト

• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models [68.52262705081098]
  オンライン蒸留は、生徒自身の方針からサンプリングされた軌跡を監督することによって、教師の能力を伝達する。 OPDは,特定の問題に対する回答よりも,教師の推論行動を伝達することがわかった。
  論文  参考訳（メタデータ） (2026-08-17T14:46:53Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。