論文の概要: ACTD: Anchor-Based Cross-Tokenizer Distillation with Residual Regularization

• arxiv url: http://arxiv.org/abs/2608.29662v1
• Date: Sun, 30 Aug 2026 08:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.040086
• Title: ACTD: Anchor-Based Cross-Tokenizer Distillation with Residual Regularization
• Title（参考訳）: ACTD:残留正則化によるアンカー系クロストケナイザ蒸留
• Abstract要約: クロストケナイザー蒸留は、大きな言語モデルから軽量の学生モデルへの推論能力を効果的に伝達する。 残留正則化を用いたアンカー系クロストケナイザ蒸留法(ACTD)を提案する。 ACTDは語彙や配列アライメントを通じて構造的不均一性を橋渡しし、アライメントノイズを残留正規化を伴う新しいアンカー損失によって緩和する。
• 参考スコア（独自算出の注目度）: 36.666810013645076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation effectively transfers reasoning capabilities from large language models to lightweight student models. To enable knowledge transfer across disparate model families, researchers increasingly explore cross-tokenizer distillation. However, cross-tokenizer distillation remains challenging due to vocabulary and sequence misalignment, while approximate vocabulary alignment can introduce additional noise into distillation. To address these challenges, we propose Anchor-Based Cross-Tokenizer Distillation with Residual Regularization (ACTD). ACTD bridges structural heterogeneity through vocabulary and sequence alignment, while mitigating alignment noise via a novel anchor loss with residual regularization. We further extend this framework to a multi-teacher setting. Evaluated across five reasoning benchmarks with three distinct teacher models, ACTD achieves state-of-the-art performance. Moreover, its multi-teacher extension outperforms the strongest single-teacher and multi-teacher baselines, further demonstrating the robustness of our method.
• Abstract（参考訳）: 知識蒸留は、大きな言語モデルから軽量の学生モデルへの推論能力を効果的に伝達する。 異なるモデルファミリー間の知識伝達を可能にするため、研究者はクロストケナイザー蒸留を探求する。 しかし, クロストケナイザー蒸留は, 語彙や配列の誤りにより依然として困難であり, 近似ボキャブラリーアライメントは蒸留に付加ノイズをもたらす可能性がある。 これらの課題に対処するため,Anchor-based Cross-Tokenizer Distillation with Residual Regularization (ACTD)を提案する。 ACTDは語彙や配列アライメントを通じて構造的不均一性を橋渡しし、アライメントノイズを残留正規化を伴う新しいアンカー損失によって緩和する。 さらに、このフレームワークをマルチ教師設定に拡張します。 ACTDは3つの異なる教師モデルを持つ5つの推論ベンチマークで評価され、最先端のパフォーマンスを達成する。 さらに、その多教師拡張は、最強の単教師ベースラインと多教師ベースラインより優れており、さらに、我々の手法の堅牢性を示している。

関連論文リスト

• Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families [32.34854415784466]
  On-Policy Distillation (OPD)は、ドメインエキスパートから学生モデルへ知識を伝達するためのLarge Language Models (LLM)のポストトレーニングにおいて、中核となる技術となっている。 既存のOPD蒸留法では、教師と学生が同じトークン化剤を共有する必要があり、モデルシリーズにおけるPDの適用性を制限している。 本研究では, 標準的なオンライン蒸留法をモデルファミリ間で動作させることにより, 高忠実度トークンレベル信号が異なるトークン化器間で伝搬することを保証する。
  論文  参考訳（メタデータ） (2026-06-08T13:12:01Z)
• MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation [8.68486556125022]
  MST-Distillは、専門教師が混在する新しいクロスモーダルな知識蒸留フレームワークである。 本稿では,蒸留経路の選択と知識の漂流という,既存のアプローチにおける2つの重要な課題を実証的に明らかにする。 本手法では,マルチモーダル構成とクロスモーダル構成の両方に多様な教師モデルのアンサンブルを用いており,インスタンスレベルのルーティングネットワークと統合されている。
  論文  参考訳（メタデータ） (2025-07-09T16:45:28Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• Universal Cross-Tokenizer Distillation via Approximate Likelihood Matching [16.385782508179364]
  蒸留は、Large Language Model (LLM) の教師から学生のLLMに知識を移すことで顕著な成功を収めた。 現在の蒸留法では、教師と学生の間で同様のトークン化剤が必要であり、その適用性は教師と学生のペアのごく一部に限られている。 そこで本研究では, クロストケナイザー蒸留法を開発した。 本手法は, 従来手法よりも高い性能を示しつつ, 基本的に異なるトークン化剤間で有効蒸留を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2025-03-25T21:44:10Z)
• Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping [85.48043537327258]
  コンテキスト動的マッピング(CDM)は、新しいクロストケナイザー蒸留フレームワークである。 文脈情報を用いてシーケンスアライメントの精度を高め、語彙マッピングを動的に改善する。 本手法は, 種々のベンチマークにおいて, 既存のクロストケナイザー蒸留ベースラインに対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2025-02-16T12:46:07Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
  コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。 識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。 実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
  論文  参考訳（メタデータ） (2023-06-28T02:19:35Z)
• Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
  我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。 学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。 筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
  論文  参考訳（メタデータ） (2020-09-15T12:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。