論文の概要: Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.34738v1
• Date: Mon, 28 Sep 2026 09:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:19:28.538136
• Title: Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation
• Title（参考訳）: トークンアライメントを超えて:クロスTokenizer on-Policy蒸留のためのイベントコンプリート
• Abstract要約: オンライン蒸留は、学生が生み出す軌跡の教師監督を通じて、言語モデル間の知識を伝達する。 既存のクロストケナイザメソッドはトークンやテキストスパンをアライメントして、同等の予測ターゲットを構築する。 学生が教師トークンの接頭辞を作成すれば、複数の次のトークンが同じ残余のバイトを完了できるが、教師は必要な完了を規定するのみである。 本稿では,クロストケナイザの確率アライメントとコンプリートセットの監督を補完するイベントセットコンプリート蒸留(ESCD)を導入する。
• 参考スコア（独自算出の注目度）: 44.2107799845358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) transfers knowledge between language models through teacher supervision on student-generated trajectories. With different tokenizers, a single teacher token may require multiple student tokens to generate, creating intermediate states where the event is entered but not yet completed. Existing cross-tokenizer methods align tokens or text spans to construct comparable prediction targets. We study a complementary problem after partial generation: once the student produces a prefix of a teacher token, multiple next tokens may complete the same remaining bytes, but the teacher only specifies the required completion rather than how probability should be divided among these valid continuations. We introduce Event-Set Completion Distillation (ESCD), which complements cross-tokenizer probability alignment with completion-set supervision. ESCD aggregates prefix-related teacher events and supervises the total probability of byte-compatible one-step student completions, avoiding tokenizer-dependent probability splits among individual tokens. The method reuses student trajectories and predictions, requiring neither additional rollouts nor changes to the student vocabulary. Experiments demonstrate consistent gains in mathematics, code, and scientific reasoning across model families and tokenizers, extending to large-scale MoE distillation from a 1T teacher to a 35B student. Local analyses show that retaining completion sets better matches the reference supervision, while one-step completion covers over 99% of observed compatible teacher mass after partial event entry in the studied tokenizer pairs. These findings support event entry and event completion as complementary supervision targets for cross-tokenizer knowledge transfer. Code will be released on GitHub.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡の教師監督を通じて、言語モデル間の知識を伝達する。 異なるトークンーでは、1人の教師トークンが生成するために複数の学生トークンを必要とし、イベントが入力されるがまだ完了していない中間状態を生成する。 既存のクロストケナイザメソッドはトークンやテキストスパンをアライメントして、同等の予測ターゲットを構築する。 学生が教師トークンの接頭辞を作成すれば、複数の次のトークンが同じ残りのバイトを完了することができるが、教師は、これらの有効な継続の間にどのように確率を分割すべきかではなく、必要な完了を規定するのみである。 本稿では,クロストケナイザの確率アライメントとコンプリートセットの監督を補完するイベントセットコンプリート蒸留(ESCD)を導入する。 ESCDはプレフィックス関連の教師イベントを集約し、トークン発行者に依存した確率分割を避けるために、バイト互換の1ステップの学生完了の総確率を監督する。 この方法は、生徒の軌跡や予測を再利用し、追加のロールアウトも、生徒の語彙の変更も必要としない。 実験は、1Tの教師から35Bの学生への大規模なMoE蒸留にまで及ぶ、モデルファミリーやトークン化剤の数学、コード、科学的推論において一貫した進歩を示す。 局所分析により, コンパニオンセットの維持は基準監督とよく一致し, 一方, コンパニオン・ペアにおける部分的イベント・エントリー後の1ステップ完了は, 教師の99%以上を占めることがわかった。 これらの知見は、クロストケナイザーの知識伝達のための補完的な監視対象として、イベントのエントリーとイベント完了を支援する。 コードはGitHubでリリースされる。

関連論文リスト

• Dual-Vocabulary Language Model for Cross-Tokenizer Distillation [15.63013891532296]
  入力トークン化(#1)と出力ロジット(#2)の両方において、異なる教師学生トークン化者が誤調整を導入する 既存のアプローチでは、同じテキストスパンをマッチングしたり、トークンをバイトに変換することで、前者に対応する。 本稿では,教師の頭部を新たな学生語彙投影ヘッドに置き換えたDual-Vocabulary Language Model (DVLM)を提案する。
  論文  参考訳（メタデータ） (2026-09-27T18:13:21Z)
• Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization [15.613307729537096]
  Byte-Prefix Marginalizationは、共有バイト空間における学生語彙上の教師の次のToken分布を再表現する。 BPMは6つの数学とプログラミングのベンチマークにおいて、現在のクロストークン手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2026-07-24T14:12:54Z)
• Masked Distillation: Internalizing the Chain-of-Thought in Language Models [15.237352001135376]
  大規模推論モデル(LRM)は、推論時に最終的な答えを生成する前に、中間ステップの長い明示的な連鎖を生成する。 これらの中間トークンで表現された計算は、言語モデルのパラメータに内部化できますか? 本稿では, 学生のLLMを学習して, 質問に照らされた解トークンのみを予測する知識蒸留フレームワークであるtextitmasked distillationを紹介した。
  論文  参考訳（メタデータ） (2026-06-18T21:19:38Z)
• X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
  クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。 ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。 本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
  論文  参考訳（メタデータ） (2026-05-20T19:59:31Z)
• SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation [39.59759394378816]
  オンライン蒸留は、教師と学生の予測がトークン単位で同等のトークンであると仮定する。 監視空間を拡大してこの信号を復元するSimCTを提案する。 SimCT は共有語彙 OPD と代表的クロストケナイザベースラインに対して一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-05-08T13:16:17Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。