論文の概要: Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

• arxiv url: http://arxiv.org/abs/2606.09456v1
• Date: Mon, 08 Jun 2026 13:12:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.080214
• Title: Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families
• Title（参考訳）: トケナイザーバリアを壊す: モデル家族間でのオンライン蒸留
• Abstract要約: On-Policy Distillation (OPD)は、ドメインエキスパートから学生モデルへ知識を伝達するためのLarge Language Models (LLM)のポストトレーニングにおいて、中核となる技術となっている。 既存のOPD蒸留法では、教師と学生が同じトークン化剤を共有する必要があり、モデルシリーズにおけるPDの適用性を制限している。 本研究では, 標準的なオンライン蒸留法をモデルファミリ間で動作させることにより, 高忠実度トークンレベル信号が異なるトークン化器間で伝搬することを保証する。
• 参考スコア（独自算出の注目度）: 32.34854415784466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Distillation (OPD) has become a core technique in the post-training of Large Language Models (LLMs) for transferring knowledge from domain experts to student models. However, existing OPD distillation methods require teacher and student models to share the same tokenizer, restricting the applicability of OPD within the model series. Current mainstream practice typically employs Supervised Fine-Tuning (SFT) on teacher-generated responses for cross-tokenizer distillation, which fails to capture the rich knowledge embedded in the teacher's probability distribution. In this work, we enable the standard on-policy distillation method to operate across model families, ensuring that high-fidelity token-level signals can propagate across different tokenizers with a precise token-mapping algorithm. Extensive experiments show that cross-tokenizer OPD is significantly more compute-efficient than baselines on various benchmarks. Our results unlock a broader range of teacher-student pairs for OPD, opening up new avenues for adapting and enhancing interactions between LLMs.
• Abstract（参考訳）: On-Policy Distillation (OPD)は、ドメインエキスパートから学生モデルへ知識を伝達するためのLarge Language Models (LLM)のポストトレーニングにおいて、中核となる技術となっている。 しかし、既存のOPD蒸留法では、教師と学生が同じトークン化剤を共有する必要があるため、モデルシリーズにおけるPDの適用性は制限されている。 現在の主流の実践では、教師が生成するクロストケナイザー蒸留の応答に、教師の確率分布に埋め込まれた豊富な知識を捉えるのに失敗するスーパービジョン・ファインタニング(SFT)が採用されている。 本研究では,標準的なオンライン蒸留方式をモデルファミリ間で動作させることにより,高精度なトークンマッピングアルゴリズムにより,高忠実度トークンレベル信号が異なるトークンマイニング器間で伝搬することを保証する。 拡張実験により、クロストケナイザーPDは様々なベンチマークのベースラインよりもはるかに計算効率が高いことが示された。 以上の結果から,LDM間の相互作用を適応し,強化するための新たな道を開いた。

関連論文リスト

• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• OVD: On-policy Verbal Distillation [47.727229201069555]
  On-policy Verbal Distillation (OVD) は、トークンレベルの確率マッチングを軌道マッチングに置き換えるメモリ効率の高いフレームワークである。 OVDは、言語フィードバックを持つ教師モデルからのオンライン蒸留を可能にしながら、メモリ消費を劇的に削減する。
  論文  参考訳（メタデータ） (2026-01-29T16:48:14Z)
• CTPD: Cross Tokenizer Preference Distillation [19.4149691480574]
  クロスTokenizer Preference Distillation (CTPD) は、不均一なトークン化剤を用いたモデル間でのヒューマンアラインな振る舞いを伝達するための、最初の統合されたフレームワークである。 CTPDは,(1)教師と学生が正確な監督伝達のために共有キャラクターレベルスパンにマップするアラインド・スパン・プロジェクション,(2)信用割当を改善するためのTIS-DPO(Token-level Importance Smpling)のクロストケナイザ適応,(3)教師-アンコール・レファレンス(Teacher-Anchored Reference)の3つの重要なイノベーションを紹介した。
  論文  参考訳（メタデータ） (2026-01-17T01:11:35Z)
• Intra-class Patch Swap for Self-Distillation [3.282914142012984]
  単一学生ネットワークに基づく無教師蒸留フレームワークを提案する。 我々のアプローチは、クラス内パッチスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワップスワ 提案手法は,既存の自己蒸留ベースラインと従来の教師ベースのKDアプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-20T09:30:19Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Universal Cross-Tokenizer Distillation via Approximate Likelihood Matching [16.385782508179364]
  蒸留は、Large Language Model (LLM) の教師から学生のLLMに知識を移すことで顕著な成功を収めた。 現在の蒸留法では、教師と学生の間で同様のトークン化剤が必要であり、その適用性は教師と学生のペアのごく一部に限られている。 そこで本研究では, クロストケナイザー蒸留法を開発した。 本手法は, 従来手法よりも高い性能を示しつつ, 基本的に異なるトークン化剤間で有効蒸留を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2025-03-25T21:44:10Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。