論文の概要: Dual-Vocabulary Language Model for Cross-Tokenizer Distillation
- arxiv url: http://arxiv.org/abs/2609.33816v1
- Date: Sun, 27 Sep 2026 18:13:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:33:00.840297
- Title: Dual-Vocabulary Language Model for Cross-Tokenizer Distillation
- Title（参考訳）: クロストケナイザ蒸留のための二重語彙言語モデル
- Abstract要約: 入力トークン化(#1)と出力ロジット(#2)の両方において、異なる教師学生トークン化者が誤調整を導入する
既存のアプローチでは、同じテキストスパンをマッチングしたり、トークンをバイトに変換することで、前者に対応する。
本稿では,教師の頭部を新たな学生語彙投影ヘッドに置き換えたDual-Vocabulary Language Model (DVLM)を提案する。
- 参考スコア（独自算出の注目度）: 15.63013891532296
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: On-policy distillation (OPD) bridges teacher supervision and student behavior, but different teacher-student tokenizers introduce misalignment in both input tokenization (#1) and output logits (#2). Existing approaches address the former by matching same-text spans or converting tokens to bytes, often losing fine-grained token information or disrupting the native-token paradigm, while for the latter, strategies such as ranking, padding, or key-token selection retain only shared logit dimensions, resulting in much distribution loss. In this paper, we propose Dual-Vocabulary Language Model (DVLM), which replaces the teacher's LM head with a new student-vocabulary projection head and obtains full-dimensional student logits (for #2). To support student tokens (for #1), it takes a Parallel-Tokenized Sequence (PTS) as input, which concatenates the original teacher-tokenized sequence and a re-tokenized sequence formed by independently converting each student token into a teacher-token group. To avoid inference inconsistency with the original teacher tokens, the Hybrid-Prefix Attention (HPA) further restricts re-tokenized groups to their corresponding teacher prefix and uses its last state as the aggregation of the original student-token representation for projection into the student vocabulary space. Similarly, via the combined use of PTS and HPA, the DVLM teacher can provide distribution-aligned supervision with the student's input-tokenization and output-logit during OPD. Experimental results demonstrate that our DVLM teacher has a similar converged loss as the original teacher model and enables student models to improve performance across six reasoning tasks.
- Abstract（参考訳）: オンライン蒸留(OPD)は教師の監督と学生の振る舞いを橋渡しするが、異なる教師の学生のトークン化は入力トークン化(#1)と出力ロジット(#2)の両方にミスアライメントをもたらす。
既存のアプローチは、同じテキストスパンをマッチングしたり、トークンをバイトに変換したり、細かいトークン情報を失ったり、ネイティブトークンのパラダイムを乱したりすることで、前者に対応する。
本稿では,教師のLMヘッドを新たな学生語彙投影ヘッドに置き換え,フル次元の学生ロジットを得るDual-Vocabulary Language Model (DVLM)を提案する(#2)。
学生トークン(第1号)をサポートするために、元の教師トークン化シーケンスと、各学生トークンを独立して教師トークン群に変換することで形成された再学習シーケンスを結合した並列トークン化シーケンス(PTS)を入力とする。
HPA(Hybrid-Prefix Attention)は、元の教師トークンとの推論の不整合を回避するために、再トークン化されたグループを対応する教師プレフィックスに制限し、学生語彙空間への投射のためのオリジナルの学生トークン表現の集約として、その最後の状態を使用する。
同様に、PTSとHPAを併用することにより、DVLMの教師は、PD中の学生の入力トークン化と出力ログによる分散整合的な監督を行うことができる。
実験の結果,DVLM教師は本来の教師モデルと同様の収束損失を有しており,学生モデルによる6つの推論タスクのパフォーマンス向上が可能であった。
関連論文リスト
- Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation [44.2107799845358]
オンライン蒸留は、学生が生み出す軌跡の教師監督を通じて、言語モデル間の知識を伝達する。
既存のクロストケナイザメソッドはトークンやテキストスパンをアライメントして、同等の予測ターゲットを構築する。
学生が教師トークンの接頭辞を作成すれば、複数の次のトークンが同じ残余のバイトを完了できるが、教師は必要な完了を規定するのみである。
本稿では,クロストケナイザの確率アライメントとコンプリートセットの監督を補完するイベントセットコンプリート蒸留(ESCD)を導入する。
論文 参考訳（メタデータ） (2026-09-28T09:33:26Z) - Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization [15.613307729537096]
Byte-Prefix Marginalizationは、共有バイト空間における学生語彙上の教師の次のToken分布を再表現する。
BPMは6つの数学とプログラミングのベンチマークにおいて、現在のクロストークン手法を一貫して上回ります。
論文 参考訳（メタデータ） (2026-07-24T14:12:54Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation [39.59759394378816]
オンライン蒸留は、教師と学生の予測がトークン単位で同等のトークンであると仮定する。
監視空間を拡大してこの信号を復元するSimCTを提案する。
SimCT は共有語彙 OPD と代表的クロストケナイザベースラインに対して一貫した利得を示す。
論文 参考訳（メタデータ） (2026-05-08T13:16:17Z) - CTPD: Cross Tokenizer Preference Distillation [19.4149691480574]
クロスTokenizer Preference Distillation (CTPD) は、不均一なトークン化剤を用いたモデル間でのヒューマンアラインな振る舞いを伝達するための、最初の統合されたフレームワークである。
CTPDは,(1)教師と学生が正確な監督伝達のために共有キャラクターレベルスパンにマップするアラインド・スパン・プロジェクション,(2)信用割当を改善するためのTIS-DPO(Token-level Importance Smpling)のクロストケナイザ適応,(3)教師-アンコール・レファレンス(Teacher-Anchored Reference)の3つの重要なイノベーションを紹介した。
論文 参考訳（メタデータ） (2026-01-17T01:11:35Z) - Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。
そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:33:00Z) - SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。
SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。
様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文 参考訳（メタデータ） (2024-05-24T13:35:56Z) - Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。
我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。
我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-30T13:22:15Z) - VECO 2.0: Cross-lingual Language Model Pre-training with
Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。
具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。
トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文 参考訳（メタデータ） (2023-04-17T12:23:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。