論文の概要: CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2610.28895v1
- Date: Tue, 20 Oct 2026 20:18:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.139747
- Title: CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
- Title（参考訳）: CSD:クロストケナイザ知識伝達のためのコモンスポーツ蒸留
- Abstract要約: クロス・トケナイザー・ロジット蒸留は、モデル家族間の知識伝達を可能にし、生徒はより強いまたはより専門的な教師から学ぶことができる。
既存のロジットベースの手法は、標準的な蒸留パイプラインに容易に組み込むことができるが、しばしば制限的な事前訓練やトークン化器固有の選択に依存する。
本稿では,教師と学生の共用サポートを構築する統合ロジットベースのフレームワークであるCommon-Support Distillation (CSD)を紹介する。
- 参考スコア（独自算出の注目度）: 16.033416044601296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-tokenizer logits distillation enables knowledge transfer across model families, allowing students to learn from stronger or more specialized teachers. However, differences in vocabulary and segmentation make teacher and student next-token distributions difficult to align. Existing logits-based methods are easy to integrate into standard distillation pipelines, but often rely on restrictive heuristics or tokenizer-pair-specific choices. They may restrict supervision to shared vocabulary subsets, require manually selecting different objectives for different tokenizer pairs, or match only the observed chunk and its complement rather than individual alternative continuations. We introduce Common-Support Distillation (CSD), a unified logits-based framework that constructs a shared support between the teacher and student at each aligned input chunk and matches the induced distributions with a single objective. For one-to-one alignments, CSD uses explicit common-token pairs as the shared support. For other alignments, it constructs a virtual support whose probabilities are computed using the autoregressive chain rule. A residual event captures probability mass outside the explicit support, ensuring that both induced distributions remain normalized. Across four teacher-student settings comprising Llama-3.2-1B and Gemma3-1B-PT students with Qwen and Phi teachers, CSD consistently achieves the highest average performance among the evaluated cross-tokenizer methods, outperforming the strongest alternative by up to 1.8 points and surpassing both continued pretraining and same-tokenizer distillation. For Llama-3.1-8B, CSD improves average accuracy over the strongest evaluated baseline by up to 4.2 points for the base student and 1.6 points for the instruction-tuned student.
- Abstract（参考訳）: クロス・トケナイザー・ロジット蒸留は、モデル家族間の知識伝達を可能にし、生徒はより強いまたはより専門的な教師から学ぶことができる。
しかし,語彙やセグメンテーションの違いは,教師や生徒の次点分布の調整を困難にしている。
既存のロジットベースの手法は、標準的な蒸留パイプラインに容易に統合できるが、しばしば制限的なヒューリスティックやトークン化器のペア固有の選択に依存している。
それらは共有語彙部分集合に対する監督を制限し、異なるトークン化子対に対して異なる目的を手動で選択するか、観察されたチャンクと補集合のみに一致させる必要がある。
我々は,教師と学生が連携した入力チャンクの共有サポートを構築し,誘導分布を1つの目的と一致させる統合ロジットベースのフレームワークであるCommon-Support Distillation (CSD)を紹介した。
1対1のアライメントでは、CSDは共有サポートとして明示的な共通トークンペアを使用する。
他のアライメントに対しては、自己回帰連鎖則を用いて確率を計算した仮想的なサポートを構築する。
残留事象は明示的な支持の外側の確率質量を捕捉し、両方の誘導分布が正規化され続けることを保証する。
Llama-3.2-1B と Gemma3-1B-PT の学生と Qwen と Phi の教師からなる4人の教師学生を対象に, CSD は評価されたクロストケナイザー法の中で最も高い平均性能を連続的に達成し, 最大 1.8 点を達成し, 継続事前学習と同トケナイザー蒸留の両方を上回った。
Llama-3.1-8B では、CSD は最強評価ベースラインの平均精度を、基礎学生が4.2 点、指導指導学生が1.6 点まで向上させる。
関連論文リスト
- Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。
BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
論文 参考訳（メタデータ） (2026-10-19T13:40:50Z) - Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability [10.24142921437929]
On-Policy Distillationは、教師のフィードバックを使って、生徒を自分の世代で訓練する。
本稿では,アライメント範囲の拡大が学習を改善するかどうかを検討する。
論文 参考訳（メタデータ） (2026-10-06T14:37:22Z) - VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation [68.00823860612421]
ビデオ作成は、テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、条件ベースの生成にまたがる。
3つのタスクファミリ用のジェネレータに対して,同じトレーニングレシピを別々に適用する統合蒸留フレームワークであるVDOT++を提案する。
論文 参考訳（メタデータ） (2026-10-02T12:37:55Z) - Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation [44.2107799845358]
オンライン蒸留は、学生が生み出す軌跡の教師監督を通じて、言語モデル間の知識を伝達する。
既存のクロストケナイザメソッドはトークンやテキストスパンをアライメントして、同等の予測ターゲットを構築する。
学生が教師トークンの接頭辞を作成すれば、複数の次のトークンが同じ残余のバイトを完了できるが、教師は必要な完了を規定するのみである。
本稿では,クロストケナイザの確率アライメントとコンプリートセットの監督を補完するイベントセットコンプリート蒸留(ESCD)を導入する。
論文 参考訳（メタデータ） (2026-09-28T09:33:26Z) - Dual-Vocabulary Language Model for Cross-Tokenizer Distillation [15.63013891532296]
入力トークン化(#1)と出力ロジット(#2)の両方において、異なる教師学生トークン化者が誤調整を導入する
既存のアプローチでは、同じテキストスパンをマッチングしたり、トークンをバイトに変換することで、前者に対応する。
本稿では,教師の頭部を新たな学生語彙投影ヘッドに置き換えたDual-Vocabulary Language Model (DVLM)を提案する。
論文 参考訳（メタデータ） (2026-09-27T18:13:21Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。
このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。
複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文 参考訳（メタデータ） (2026-05-20T03:06:36Z) - CTPD: Cross Tokenizer Preference Distillation [19.4149691480574]
クロスTokenizer Preference Distillation (CTPD) は、不均一なトークン化剤を用いたモデル間でのヒューマンアラインな振る舞いを伝達するための、最初の統合されたフレームワークである。
CTPDは,(1)教師と学生が正確な監督伝達のために共有キャラクターレベルスパンにマップするアラインド・スパン・プロジェクション,(2)信用割当を改善するためのTIS-DPO(Token-level Importance Smpling)のクロストケナイザ適応,(3)教師-アンコール・レファレンス(Teacher-Anchored Reference)の3つの重要なイノベーションを紹介した。
論文 参考訳（メタデータ） (2026-01-17T01:11:35Z) - CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。
近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。
ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
論文 参考訳（メタデータ） (2025-07-13T03:11:35Z) - Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping [85.48043537327258]
コンテキスト動的マッピング(CDM)は、新しいクロストケナイザー蒸留フレームワークである。
文脈情報を用いてシーケンスアライメントの精度を高め、語彙マッピングを動的に改善する。
本手法は, 種々のベンチマークにおいて, 既存のクロストケナイザー蒸留ベースラインに対して有意な優位性を示す。
論文 参考訳（メタデータ） (2025-02-16T12:46:07Z) - Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models [81.74999702045339]
マルチレベル最適輸送(MultiLevelOT)は、普遍的なクロストケナイザー知識蒸留のための最適な輸送を促進する新しいアプローチである。
本手法は,教師と生徒のロジット分布をトークンレベルとシーケンスレベルの両方で整列する。
トークンレベルでは、MultiLevelOTはグローバルとローカルの両方の情報を統合する。
論文 参考訳（メタデータ） (2024-12-19T04:51:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。