論文の概要: Gumbel Distillation for Parallel Text Generation
- arxiv url: http://arxiv.org/abs/2603.22216v1
- Date: Mon, 23 Mar 2026 17:13:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.807268
- Title: Gumbel Distillation for Parallel Text Generation
- Title（参考訳）: 並列テキスト生成のためのガンベル蒸留
- Abstract要約: 本稿では,トークン列の複雑な結合分布を並列デコーダで学習できる新しい蒸留技術であるGumbel Distillationを紹介する。
提案手法は,Gumbel-Max の手法を用いて,遅延Gumbel ノイズ空間から高パフォーマンスAR教師の出力トークンへの決定論的マッピングを生成する。
LM1BとOpenWebTextの実験は、Gumbel Distillationが並列言語モデルの生成品質を大幅に改善することを示している。
- 参考スコア（独自算出の注目度）: 10.318118089940759
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The slow, sequential nature of autoregressive (AR) language models has driven the adoption of parallel decoding methods. However, these non-AR models often sacrifice generation quality as they struggle to model the complex joint distribution of token sequences. To narrow this performance gap, we introduce Gumbel Distillation, a novel distillation technique that enables parallel decoders to learn this distribution effectively. Our method leverages the Gumbel-Max trick to create a deterministic mapping from a latent Gumbel noise space to the output tokens of a high-performing AR teacher. As a model-agnostic technique, Gumbel Distillation seamlessly integrates with diverse parallel decoding architectures, including MDLM and BD3-LM. Experiments on LM1B and OpenWebText show that Gumbel Distillation substantially improves the generation quality of parallel language models, achieving a 30.0% improvement in MAUVE score and 10.5% in generative perplexity over MDLM trained on OpenWebText dataset. Code available at https://github.com/hxixixh/gumbel-distill.
- Abstract（参考訳）: 自動回帰(AR)言語モデルの遅いシーケンシャルな性質により、並列復号法が採用されている。
しかしながら、これらの非ARモデルは、トークンシーケンスの複雑な結合分布のモデル化に苦慮しているため、生成品質を犠牲にすることが多い。
この性能ギャップを狭めるために,並列デコーダが効率よくこの分布を学習できる新しい蒸留技術であるGumbel Distillationを導入する。
提案手法は,Gumbel-Maxの手法を用いて,遅延Gumbel雑音空間から高パフォーマンスAR教師の出力トークンへの決定論的マッピングを生成する。
モデルに依存しない手法として、Gumbel DistillationはMDLMやBD3-LMを含む様々な並列デコードアーキテクチャとシームレスに統合される。
LM1BとOpenWebTextの実験では、Gumbel Distillationは並列言語モデルの生成品質を大幅に改善し、MAUVEのスコアが30.0%、OpenWebTextデータセットでトレーニングされたMDLMよりも10.5%向上した。
コードはhttps://github.com/hxixixh/gumbel-distill.comで公開されている。
関連論文リスト
- DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。
トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。
この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-06-01T06:58:15Z) - Edit-Based Refinement for Parallel Masked Diffusion Language Models [47.05195944319345]
マスク付き拡散言語モデルは並列トークン生成を可能にし、復号効率を向上させる。
本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。
本手法は,HumanEvalで11.6点,GSM8Kで33.6点,全拡散ステップの8分の1を用いて一貫したゲインを得る。
論文 参考訳（メタデータ） (2026-05-10T15:31:22Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。
標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。
並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
論文 参考訳（メタデータ） (2026-03-03T09:56:53Z) - Fast and Accurate Causal Parallel Decoding using Jacobi Forcing [41.89066334075016]
Jacobi Forcingはプログレッシブ蒸留パラダイムであり、モデルが独自の並列復号軌道で訓練される。
我々は,複数ブロックの復号化とリジェクション・リサイクリングを導入し,最大4.5倍高いトークン受入数と4.0倍のウォールクロック・スピードアップを実現した。
論文 参考訳（メタデータ） (2025-12-16T18:45:18Z) - DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。
本研究は,それらの認知過程と強化学習手法について考察する。
我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文 参考訳（メタデータ） (2025-06-25T17:35:47Z) - Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。
本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。
本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文 参考訳（メタデータ） (2025-05-28T17:39:15Z) - Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。
我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。
我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
論文 参考訳（メタデータ） (2025-04-29T06:33:13Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Fast Sequence Generation with Multi-Agent Reinforcement Learning [40.75211414663022]
機械翻訳では、すべての単語を並列に生成することで推論時間を高速化するノンオートレグレッシブデコードが提案されている。
我々は,非自己回帰的シーケンス生成(NAG)のための新しい訓練パラダイムを用いた簡易かつ効率的なモデルを提案する。
MSCOCOイメージキャプションベンチマークでは、NAG法は最先端のオートレグレッシブモデルに匹敵するパフォーマンスを実現し、13.9倍のデコード高速化を実現します。
論文 参考訳（メタデータ） (2021-01-24T12:16:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。