論文の概要: CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.13257v1
- Date: Fri, 09 Oct 2026 09:03:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.50038
- Title: CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
- Title（参考訳）: CAST: クロスTokenizer on-Policy蒸留のクレジットアライメント
- Abstract要約: クロスTokenizer on-policy蒸留では、スコアを比較する前に、教師と学生のシーケンスを調整する必要がある。
チャンクレベル信号は、スパンがどの程度変更されるべきかを指定するが、学生トークン間でその信号をどのように分散するかは規定しない。
本稿では,CAST(Chunk-aware credit Assignment with Selective Token Anchoring)を提案する。
- 参考スコア（独自算出の注目度）: 36.16285110689143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-tokenizer on-policy distillation (OPD) requires aligning teacher and student sequences before their scores can be compared. Decoded-text alignment provides such correspondence at the chunk level, but leaves a distinct problem unresolved: credit alignment. A chunk-level signal specifies how much a span should change, but not how that signal should be distributed across student tokens, while tokens without teacher correspondence remain unconstrained. We propose CAST (Chunk-aware credit Assignment with Selective Token Anchoring), a shift-or-stay framework that addresses both issues. For aligned chunks, CAST redistributes each chunk's advantage across student tokens using predictive uncertainty and local teacher-signal smoothness, emphasizing learning opportunities supported by locally consistent teacher feedback while preserving the chunk's total advantage. The resulting weights exactly solve a KL-regularized credit-allocation problem. For unaligned positions, CAST selectively anchors the student to its initial policy through a KL penalty, limiting drift where teacher supervision is unavailable. Because credit assignment is separated from chunk construction, CAST also applies to punctuation-defined or fixed-length chunks under shared tokenization. Across six mathematics, science, and code benchmarks, CAST improves the average over the strongest evaluated baseline by $2.45$ and $1.32$ points for cross-tokenizer transfer from Qwen3-8B to Mistral-7B and Llama-3.1-8B, respectively, and by $2.10$ points for shared-tokenizer transfer to Qwen3-1.7B.
- Abstract（参考訳）: クロストケナイザー・オン・ポリシー蒸留(OPD)では、スコアを比較する前に、教師と学生のシーケンスを調整する必要がある。
デコードテキストアライメントは、チャンクレベルでそのような対応を提供するが、明確な問題は解決されていない:クレジットアライメントである。
チャンクレベル信号は、スパンがどの程度変化すべきかを規定するが、その信号が学生トークン間でどのように分散されるかは規定しない。
本稿では,CAST(Chunk-aware credit Assignment with Selective Token Anchoring)を提案する。
整合的なチャンクに対して,CASTは,各チャンクの利点を学生トークン間で再分配し,予測の不確かさと局所教師信号の滑らかさを利用して,各チャンクの総合的な優位性を保ちながら,局所的に一貫した教師のフィードバックによって支えられる学習機会を強調する。
結果として得られる重みは、KL規則化されたクレジットアロケーション問題を正確に解決する。
非整合的な立場では、CASTはKLペナルティを通じて生徒を初期方針に選択的に固定し、教師の監督が不可能なドリフトを制限する。
クレジット代入はチャンク構成から分離されるため、CASTは共有トークン化の下で句読点定義または固定長チャンクにも適用される。
6つの数学、科学、コードベンチマークで、CASTは、Qwen3-8BからMistral-7Bへ、Llama-3.1-8Bへ、Qwen3-1.7Bへ、それぞれ2.10ドルで、最も評価の高いベースラインを平均2.45ドルと1.32ドルで改善した。
関連論文リスト
- Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability [10.24142921437929]
On-Policy Distillationは、教師のフィードバックを使って、生徒を自分の世代で訓練する。
本稿では,アライメント範囲の拡大が学習を改善するかどうかを検討する。
論文 参考訳（メタデータ） (2026-10-06T14:37:22Z) - Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
論文 参考訳（メタデータ） (2026-08-10T16:53:14Z) - Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization [15.613307729537096]
Byte-Prefix Marginalizationは、共有バイト空間における学生語彙上の教師の次のToken分布を再表現する。
BPMは6つの数学とプログラミングのベンチマークにおいて、現在のクロストークン手法を一貫して上回ります。
論文 参考訳（メタデータ） (2026-07-24T14:12:54Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation [39.59759394378816]
オンライン蒸留は、教師と学生の予測がトークン単位で同等のトークンであると仮定する。
監視空間を拡大してこの信号を復元するSimCTを提案する。
SimCT は共有語彙 OPD と代表的クロストケナイザベースラインに対して一貫した利得を示す。
論文 参考訳（メタデータ） (2026-05-08T13:16:17Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。