論文の概要: SelFusion: Self-distillation for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.22898v1
• Date: Mon, 24 Aug 2026 07:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.991873
• Title: SelFusion: Self-distillation for Diffusion Language Models
• Title（参考訳）: セルフュージョン:拡散言語モデルのための自己蒸留
• Abstract要約: 拡散言語モデル(DLM)は、自己回帰(AR)大規模言語モデル(LLM)の固有の遅延ボトルネックを軽減する。 本稿では, DLM のための新しい自己蒸留フレームワーク, SelFusion を提案する。
• 参考スコア（独自算出の注目度）: 11.370229362941267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) alleviate the inherent latency bottleneck of autoregressive (AR) large language models (LLMs), but their degraded generation quality limits practical applicability. Although knowledge distillation (KD) can be a promising direction for improving performance, we empirically find that naively applying conventional KD yields only marginal gains, or even degrades generation quality. Based on these observations, we propose a novel self-distillation framework for DLMs, namely SelFusion. To enable effective KD without an external teacher model, SelFusion performs two forward passes with different masking levels, defining the hard mode with a larger masking probability and the easy mode with a smaller masking probability. However, the easy mode is not always more accurate than the hard mode and can be overconfident on incorrect tokens. Thus, we introduce bidirectional KD between the two modes, which can dynamically determine the distillation direction based on token-level correctness. Experimental results on instruction-following tasks show that the proposed self-distillation substantially outperforms other KD methods with external LLM and DLM teachers. In many configurations, the student trained with SelFusion even surpasses the performance of the LLM teacher, providing a practical path toward improving DLM generation quality. Source code can be found at https://github.com/scai-research/SelFusion_official
• Abstract（参考訳）: 拡散言語モデル(DLM)は、自己回帰(AR)大言語モデル(LLM)の固有の遅延ボトルネックを軽減するが、その劣化した生成品質は実用性を制限する。 知識蒸留(KD)は性能向上に有望な方向であるが, 従来のKDを経時的に適用すると限界ゲインしか得られず, 生成品質も低下する。 これらの観測に基づいて,DLMのための新しい自己蒸留フレームワーク,すなわちSelFusionを提案する。 外部教師モデルなしで効果的なKDを実現するため、SelFusionはマスキングレベルが異なる2つのフォワードパスを実行し、マスキング確率が大きいハードモードとマスキング確率の低い簡単なモードを定義する。 しかし、簡単なモードはハードモードよりも必ずしも正確ではなく、不正なトークンを過信することができる。 そこで,両モード間の双方向KDを導入し,トークンレベルの正確性に基づいて蒸留方向を動的に決定する。 教示追従タスクの実験結果から, 提案した自己蒸留法は, 外部LLMとDLMの教師による他のKD法よりも大幅に優れていた。 多くの構成において、SelFusionで訓練を受けた学生は、LLM教師のパフォーマンスを超越し、DLM生成品質を改善するための実践的な道のりを提供する。 ソースコードはhttps://github.com/scai-research/SelFusion_officialにある。

関連論文リスト

• GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models [26.589027931827356]
  そこで我々は,dLLMの脱ノイズ剤をアドバンテージ誘導型自己教師から蒸留するために,誘導脱ノイズ器自己蒸留法(GDSD)を提案する。 GDSDは、正規化のない目的を通じて、dLLMのデノイザーロジットを教師のものと一致させることで、RLは可能性のない自己蒸留に還元される。
  論文  参考訳（メタデータ） (2026-05-28T05:47:40Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• IDLM: Inverse-distilled Diffusion Language Models [70.5793829229702]
  Inverse Distillation(逆蒸留)は、もともと連続拡散モデルを加速するために開発された技法で、離散的な設定に拡張する。 理論的観点からは、逆蒸留の目的には一意性保証が欠如しており、これは準最適解に繋がる可能性がある。 Inverse-distilled Diffusion Language Models (IDLM) は推論ステップ数を4x-64x削減する。
  論文  参考訳（メタデータ） (2026-02-22T06:47:04Z)
• Distillation of Large Language Models via Concrete Score Matching [28.320219993420434]
  大規模言語モデル (LLM) は優れた性能を提供するが、効率的な推論のための知識蒸留 (KD) の展開に費用がかかる。 本稿では,ソフトマックスによる平滑化と最適解集合の制約を克服する離散的なスコアマッチング手法を提案する。 実験により、CSDは最近のKD目標を一貫して上回り、良好なフィデリティと多様性のトレードオフを達成し、オン・ポリティの技法と組み合わせることで補完的な利益を得ることが示された。
  論文  参考訳（メタデータ） (2025-09-30T06:21:28Z)
• Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization [47.38380084735716]
  大規模な画像テキストペアで事前訓練された視覚教師付きモデル(VLM)は、顕著なゼロ/フェーショット性能を示した。 知識蒸留(KD)は、VLM能力を伝達するための自然な枠組みを提供するが、監督と蒸留の損失の間の勾配の衝突に悩まされる。 本稿では,異なる信号に対して2つの予測ヘッドを導入するDual-Head Optimization (DHO)を提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:39:51Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Direct Preference Knowledge Distillation for Large Language Models [73.50849692633953]
  大規模言語モデル(LLM)のためのDPKD(Direct Preference Knowledge Distillation)を提案する。 我々はLLMのKDを、暗黙の報酬と逆のKL分岐からなる最適化と目的の2段階に再構成する。 実験と理論的解析により,KDにおける暗黙の報酬と出力選好の価値と効果を証明した。
  論文  参考訳（メタデータ） (2024-06-28T09:23:40Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• David helps Goliath: Inference-Time Collaboration Between Small Specialized and Large General Diffusion LMs [49.822063966687175]
  拡散に基づく言語モデルは、自己回帰型LMに代わる有望な選択肢として浮上している。 我々は最近提案した拡散モデルSSD-LMを0.4Bから13Bパラメータに拡張する方法を提案する。 SSD-2は、個々のユーザがカスタマイズしてデプロイできる100倍の小型モデルで、新しいアンサンブルを促進する。
  論文  参考訳（メタデータ） (2023-05-24T06:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。