論文の概要: Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
- arxiv url: http://arxiv.org/abs/2604.26951v1
- Date: Wed, 29 Apr 2026 17:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.536935
- Title: Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
- Title（参考訳）: TIDEの転換: 拡散大言語モデルのためのクロスアーキテクチャ蒸留
- Authors: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan,
- Abstract要約: 8Bの高密度と16BのMoE教師を0.6Bの学生に蒸留すると、2つの異種パイプラインがベースラインを平均1.53ポイント上回る。
HumanEvalのスコアは、ARベースラインの32.3に比べて48.78である。
- 参考スコア（独自算出の注目度）: 25.171094765557996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) offer parallel decoding and bidirectional context, but state-of-the-art dLLMs require billions of parameters for competitive performance. While existing distillation methods for dLLMs reduce inference steps within a single architecture, none address cross-architecture knowledge transfer, in which the teacher and student differ in architecture, attention mechanism, and tokenizer. We present TIDE, the first framework for cross-architecture dLLM distillation, comprising three modular components: (1) TIDAL, which jointly modulates distillation strength across training progress and diffusion timestep to account for the teacher's noise-dependent reliability; (2) CompDemo, which enriches the teacher's context via complementary mask splitting to improve predictions under heavy masking; and (3) Reverse CALM, a cross-tokenizer objective that inverts chunk-level likelihood matching, yielding bounded gradients and dual-end noise filtering. Distilling 8B dense and 16B MoE teachers into a 0.6B student via two heterogeneous pipelines outperforms the baseline by an average of 1.53 points across eight benchmarks, yielding notable gains in code generation, where HumanEval scores reach 48.78 compared to 32.3 for the AR baseline.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は並列デコーディングと双方向のコンテキストを提供するが、最先端のdLLMは競合性能に何十億ものパラメータを必要とする。
既存のdLLMの蒸留法では、単一のアーキテクチャ内での推論ステップが減少するが、教師と学生がアーキテクチャ、注意機構、トークン化器で異なるアーキテクチャ間の知識伝達には対応していない。
TIDEは,(1)教師の騒音依存性の信頼性を考慮し,学習経過と拡散時間経過を共同で蒸留強度を調節するTIDAL,(2)補完マスク分割による教師のコンテキストを充実させ,重マスキングによる予測を改善するCompDemo,(3)チャンクレベルの整合性マッチングを反転させるクロストケナイザであるReverse CALMの3つのモジュール構成からなる,クロスアーキテクチャdLLM蒸留のための第1のフレームワークである。
8Bの高密度と16BのMoE教師を2つの異種パイプライン経由で0.6Bの学生に蒸留すると、8つのベンチマークで平均1.53ポイントのベースラインを上回り、HumanEvalのスコアは32.3に比べて48.78に向上した。
関連論文リスト
- ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping [26.560813832545563]
拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。
我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。
我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
論文 参考訳（メタデータ） (2026-03-10T14:31:19Z) - Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳（メタデータ） (2026-02-02T09:14:51Z) - MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。
MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
論文 参考訳（メタデータ） (2025-11-19T18:48:27Z) - Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models [49.911784762244814]
TraceRLは拡散言語モデル(DLM)のための軌道対応強化学習フレームワークである
我々は最先端の拡散言語モデル、すなわち TraDo を導出する。
TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-09-08T17:58:06Z) - ASMA-Tune: Unlocking LLMs' Assembly Code Comprehension via Structural-Semantic Instruction Tuning [33.53059396922164]
アセンブリコード分析と理解は、リバースエンジニアリングのようなアプリケーションにおいて重要な役割を果たす。
従来のマスク付き言語モデリングアプローチは、自然言語の相互作用に明示的に焦点を合わせていない。
本稿では、エンドツーエンドな構造意味的命令チューニングフレームワークであるアセンブリ・チューニングについて述べる。
論文 参考訳（メタデータ） (2025-03-14T17:36:08Z) - TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation [19.938309176933902]
本稿では, モデル圧縮を2相で促進するブランチ・マージ蒸留法を提案する。
我々は,DeepSeek-R1を教師とし,DeepSeek-R1-Distill-Qwen-32Bを学生として蒸留アプローチを検証する。
合併したTinyR1-32B-Previewは、複数のベンチマークでDeepSeek-R1-Distill-Qwen-32Bを上回った。
論文 参考訳（メタデータ） (2025-03-06T16:25:53Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z) - A Mixture of Expert Based Deep Neural Network for Improved ASR [4.993304210475779]
MixNetは、音声認識(ASR)における音響モデルのための新しいディープラーニングアーキテクチャである
自然言語では、異なる音響クラスにまたがる分布の重複は避けられないため、クラス間の誤分類につながる。
提案手法は,単語誤り率の13.6%と10.0%を相対的に削減できることを示す。
論文 参考訳（メタデータ） (2021-12-02T07:26:34Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。