論文の概要: Look Before You Select: Rethinking Vocabulary Sparsification in On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.34386v1
- Date: Mon, 28 Sep 2026 06:02:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:16:32.656175
- Title: Look Before You Select: Rethinking Vocabulary Sparsification in On-Policy Distillation
- Title（参考訳）: オンライン蒸留における語彙のスパリフィケーションを再考する
- Abstract要約: オンライン蒸留(OPD)は、生徒が生成する反応を教師が補正する手法である。
textbfSparseOPD – フル語彙の教師訂正を使用して、トークンのログを選択する前に、どの修正が問題かを判断する。
textbfSparseOPD は、Smpled Token と TopK をタスク平均精度で上回り、フル語彙にマッチまたは超える。
- 参考スコア（独自算出の注目度）: 21.686625251714577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) uses teacher correction on student-generated responses. Full-vocabulary correction can provide important corrections even for tokens that the student assigns low probability, but backpropagating through all token logits becomes memory-intensive for long sequences. Existing memory-saving approaches estimate corrections from sampled tokens or restrict supervision to the student's TopK tokens, introducing sampling noise or changing the full-vocabulary correction. We introduce \textbf{SparseOPD}, which uses full-vocabulary teacher correction to determine which corrections matter before selecting the token logits to differentiate. SparseOPD first constructs the full-vocabulary correction without retaining its backward graph, then selects tokens by correction magnitude rather than student probability. Signed residual compensation preserves the total promoting and suppressing correction mass, while correction-aware budget allocation distributes the sparse support across positions. Finally, the update backpropagates only through the selected token logits. Across six task--scale settings spanning mathematics, chemistry QA, and multimodal reasoning, SparseOPD outperforms Sampled Token and TopK in task-average accuracy and matches or exceeds Full Vocabulary. Gradient cosine similarity reaches 99\% on 4B mathematics, while 8K full-parameter profiling shows 70.5\% lower backward memory.
- Abstract（参考訳）: オンライン蒸留(OPD)は、生徒が生成する反応を教師が補正する手法である。
フルボキャブラリ補正は、学生が低い確率を割り当てるトークンであっても重要な修正を提供することができるが、全てのトークンロジットをバックプロパゲートすることは、長いシーケンスでメモリ集約化される。
既存のメモリセービングアプローチでは、サンプルトークンから補正を推定したり、生徒のTopKトークンの監督を制限したり、サンプリングノイズを導入したり、全語彙修正を変更したりする。
トークンロジットを選択する前にどの修正が重要かを決定するために,フルボキャブラリ教師補正を用いる。
SparseOPDはまず、後方グラフを保持せずに全語彙補正を構築し、その後、学生の確率よりも補正の大きさでトークンを選択する。
符号付き残留補償は、補正質量の総促進と抑制を保ち、補正対応予算配分は、スパース支持を位置間で分配する。
最後に、更新は選択されたトークンログを通してのみバックプロパゲートされる。
数学、化学QA、マルチモーダル推論にまたがる6つのタスクスケール設定において、SparseOPDは、Sampred TokenとTopKをタスク平均精度で上回り、マッチまたはフルボキャブラリを超えている。
勾配コサイン類似度は4B数学では99\%に達するが、8Kフルパラメータプロファイリングでは70.5\%低い下位メモリを示す。
関連論文リスト
- Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation [44.2107799845358]
オンライン蒸留は、学生が生み出す軌跡の教師監督を通じて、言語モデル間の知識を伝達する。
既存のクロストケナイザメソッドはトークンやテキストスパンをアライメントして、同等の予測ターゲットを構築する。
学生が教師トークンの接頭辞を作成すれば、複数の次のトークンが同じ残余のバイトを完了できるが、教師は必要な完了を規定するのみである。
本稿では,クロストケナイザの確率アライメントとコンプリートセットの監督を補完するイベントセットコンプリート蒸留(ESCD)を導入する。
論文 参考訳（メタデータ） (2026-09-28T09:33:26Z) - 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation [30.723155979280083]
役に立つ教師指導は、次のトークンのサンプルから勾配が推定されたときにノイズを発生させる。
本稿では,信号対雑音分解に基づく情報効率比(IER)を提案する。
候補セット近似は、IERと既存の有用性スコアの組み合わせに基づいてトークンの選択を可能にする。
論文 参考訳（メタデータ） (2026-09-21T11:28:24Z) - A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。
そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
論文 参考訳（メタデータ） (2026-08-26T11:14:42Z) - Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
論文 参考訳（メタデータ） (2026-08-10T16:53:14Z) - Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。
10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
論文 参考訳（メタデータ） (2026-05-27T06:52:08Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。
現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。
本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
論文 参考訳（メタデータ） (2023-08-17T06:04:28Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳（メタデータ） (2021-06-03T05:56:57Z) - Adversarial Transfer Learning for Punctuation Restoration [58.2201356693101]
句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。
IWSLT2011データセットを用いて実験を行った。
論文 参考訳（メタデータ） (2020-04-01T06:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。