論文の概要: Gumbel Distillation for Parallel Text Generation

• arxiv url: http://arxiv.org/abs/2603.22216v1
• Date: Mon, 23 Mar 2026 17:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.807268
• Title: Gumbel Distillation for Parallel Text Generation
• Title（参考訳）: 並列テキスト生成のためのガンベル蒸留
• Authors: Chi Zhang, Xixi Hu, Bo Liu, Qiang Liu,
• Abstract要約: 本稿では,トークン列の複雑な結合分布を並列デコーダで学習できる新しい蒸留技術であるGumbel Distillationを紹介する。 提案手法は,Gumbel-Max の手法を用いて,遅延Gumbel ノイズ空間から高パフォーマンスAR教師の出力トークンへの決定論的マッピングを生成する。 LM1BとOpenWebTextの実験は、Gumbel Distillationが並列言語モデルの生成品質を大幅に改善することを示している。
• 参考スコア（独自算出の注目度）: 10.318118089940759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The slow, sequential nature of autoregressive (AR) language models has driven the adoption of parallel decoding methods. However, these non-AR models often sacrifice generation quality as they struggle to model the complex joint distribution of token sequences. To narrow this performance gap, we introduce Gumbel Distillation, a novel distillation technique that enables parallel decoders to learn this distribution effectively. Our method leverages the Gumbel-Max trick to create a deterministic mapping from a latent Gumbel noise space to the output tokens of a high-performing AR teacher. As a model-agnostic technique, Gumbel Distillation seamlessly integrates with diverse parallel decoding architectures, including MDLM and BD3-LM. Experiments on LM1B and OpenWebText show that Gumbel Distillation substantially improves the generation quality of parallel language models, achieving a 30.0% improvement in MAUVE score and 10.5% in generative perplexity over MDLM trained on OpenWebText dataset. Code available at https://github.com/hxixixh/gumbel-distill.
• Abstract（参考訳）: 自動回帰(AR)言語モデルの遅いシーケンシャルな性質により、並列復号法が採用されている。 しかしながら、これらの非ARモデルは、トークンシーケンスの複雑な結合分布のモデル化に苦慮しているため、生成品質を犠牲にすることが多い。 この性能ギャップを狭めるために,並列デコーダが効率よくこの分布を学習できる新しい蒸留技術であるGumbel Distillationを導入する。 提案手法は,Gumbel-Maxの手法を用いて,遅延Gumbel雑音空間から高パフォーマンスAR教師の出力トークンへの決定論的マッピングを生成する。 モデルに依存しない手法として、Gumbel DistillationはMDLMやBD3-LMを含む様々な並列デコードアーキテクチャとシームレスに統合される。 LM1BとOpenWebTextの実験では、Gumbel Distillationは並列言語モデルの生成品質を大幅に改善し、MAUVEのスコアが30.0%、OpenWebTextデータセットでトレーニングされたMDLMよりも10.5%向上した。 コードはhttps://github.com/hxixixh/gumbel-distill.comで公開されている。

関連論文リスト

• Fast and Accurate Causal Parallel Decoding using Jacobi Forcing [41.89066334075016]
  Jacobi Forcingはプログレッシブ蒸留パラダイムであり、モデルが独自の並列復号軌道で訓練される。 我々は,複数ブロックの復号化とリジェクション・リサイクリングを導入し,最大4.5倍高いトークン受入数と4.0倍のウォールクロック・スピードアップを実現した。
  論文  参考訳（メタデータ） (2025-12-16T18:45:18Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Fast Sequence Generation with Multi-Agent Reinforcement Learning [40.75211414663022]
  機械翻訳では、すべての単語を並列に生成することで推論時間を高速化するノンオートレグレッシブデコードが提案されている。 我々は,非自己回帰的シーケンス生成(NAG)のための新しい訓練パラダイムを用いた簡易かつ効率的なモデルを提案する。 MSCOCOイメージキャプションベンチマークでは、NAG法は最先端のオートレグレッシブモデルに匹敵するパフォーマンスを実現し、13.9倍のデコード高速化を実現します。
  論文  参考訳（メタデータ） (2021-01-24T12:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。