論文の概要: ReTaCo: Residual-Target Control for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.39275v1
- Date: Wed, 30 Sep 2026 08:27:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.438716
- Title: ReTaCo: Residual-Target Control for On-Policy Distillation
- Title（参考訳）: ReTaCo: オンライン蒸留における残留ターゲット制御
- Abstract要約: オンライン蒸留(OPD)は、トークンレベルの教師のフィードバックで、学生を自身の生成されたプレフィックスで訓練する。
しかし、教師の完全な語彙分布を全てのトークンで送信または保存することはコストがかかる。
我々は、トップ$kのトークンを個別に保持し、残りのトークンを1つの残留シンボルにグループ化するReTaCoを提案する。
- 参考スコア（独自算出の注目度）: 16.836287535455746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) trains a student on its own generated prefixes with token-level teacher feedback, but transmitting or storing the teacher's full-vocabulary distribution at every token is costly. Entropy-aware OPD (EOPD) adds forward supervision to reverse KL to help the student recover plausible tokens it underestimates, using only the teacher's top-$k$ probabilities to limit cost. Because EOPD renormalizes these probabilities, its target assigns no mass to the omitted vocabulary. We prove that the resulting loss keeps pushing the student's top-$k$ mass toward one even after the student matches the teacher's relative probabilities within the top-$k$ set, so the teacher itself is not a stationary point whenever the omitted tokens have positive teacher probability. We propose ReTaCo (Residual-Target Control), which keeps the top-$k$ tokens individually and groups the remaining tokens into one residual symbol, and pairs this forward target with a single-sample estimator whose expectation equals the full-vocabulary reverse KL. With teacher top-$k$ mass $m$, the residual target is $(1-β)(1-m)$ for $β\in[0,1]$: $β=0$ preserves the teacher's mass, and larger $β$ moves more mass onto the top-$k$ tokens without changing their relative probabilities. At a fixed prefix, we prove that the population objective has a unique optimum whose top-$k$ mass lies between $m$ and $m+β(1-m)$ and increases monotonically with $β$; at $β=0$, underestimated top-$k$ tokens still receive non-vanishing recovery gradients. Numerical optimization confirms these predictions, and across three teacher-student pairs, ReTaCo outperforms EOPD on most mathematics and code benchmarks.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生成した接頭辞をトークンレベルの教師のフィードバックで訓練するが、教師の完全な語彙分布を全てのトークンで送信または保存することはコストがかかる。
Entropy-aware OPD (EOPD) は、学生が過小評価される有望なトークンを回収するのを助けるためにKLを反転させる前向きの監督を追加する。
EOPDはこれらの確率を再正規化するため、そのターゲットは省略された語彙に質量を割り当てない。
その結果, 教師の相対的確率に一致した後でも, 学生の上位kドル質量を1方向に押し上げ続けることが証明されたので, 省略トークンが正の確率を持つ場合, 教師自身は固定点ではない。
我々はReTaCo(Residual-Target Control)を提案する。これはトークンのトップ$kを個別に保持し、残りのトークンを1つの残留シンボルにグループ化し、この前方ターゲットを期待値が全語彙逆KLに等しい単一サンプル推定器と組み合わせる。
教師のトップ$k$ mass $m$の場合、残りのターゲットは$(1-β)(1-m)$ for $β\in[0,1]$:$β=0$は教師の質量を保存する。
固定された接頭辞において、トップ$k$の質量が$m$から$m+β(1-m)$の間にあり、単調に$β$で増加するという一意の最適値を持つことを証明する。
数値最適化はこれらの予測を確認し、3つの教師と学生のペア間で、ReTaCoはほとんどの数学とコードのベンチマークでEOPDを上回っている。
関連論文リスト
- Unbiased Top-$k$ Estimation for On-Policy Distillation [7.963184907894143]
オンライン蒸留(OPD)は、大規模言語モデル(LLM)の訓練後の重要な構成要素である。
OPDにおける逆KL分岐の勾配を推定することは依然として困難である。
学生が作成したロールアウトからのサンプルトークンのみを使用することは、計算コストが安いが、限定的な分散監視を提供する。
我々はTK-OPDのバイアスに対処するため,Tail-Corrected Top-k$ On-Policy Distillation (TT-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-28T07:03:32Z) - A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。
そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
論文 参考訳（メタデータ） (2026-08-26T11:14:42Z) - Tail-Aware Top-$k$ On-Policy Distillation [18.06665602564656]
そこで我々は,欠落したテール確率信号を復元する新しい蒸留法であるTail-Aware Top-$k$ OPD (textbfTA-OPD)を提案する。
事実上、TA-OPDは生徒の次点分布と教師の分布の整合性を良くし、top-k$正規化による尾の確率とエントロピーの増加を防ぐ。
論文 参考訳（メタデータ） (2026-08-12T20:31:49Z) - REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。
信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
論文 参考訳（メタデータ） (2026-08-12T06:15:33Z) - ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。
我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
論文 参考訳（メタデータ） (2026-08-11T13:27:56Z) - Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
論文 参考訳（メタデータ） (2026-08-10T16:53:14Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a
Generative Model [50.38446482252857]
2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。
我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。
我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
論文 参考訳（メタデータ） (2022-08-22T17:24:55Z) - Black-box Generalization of Machine Teaching [63.384268678926325]
我々は、より厳密なslack項を $left とするブラックボックス教育仮説 $hmathcalT$ を導入する。
この教示仮説の指導の下で、学習者はより厳密な一般化誤差とラベル複雑性境界に収束できることを示す。
論文 参考訳（メタデータ） (2022-06-30T11:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。