論文の概要: Energy-Based Diffusion Language Models for Text Generation
- arxiv url: http://arxiv.org/abs/2410.21357v3
- Date: Fri, 28 Feb 2025 08:41:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:39:16.639840
- Title: Energy-Based Diffusion Language Models for Text Generation
- Title（参考訳）: テキスト生成のためのエネルギーベース拡散言語モデル
- Authors: Minkai Xu, Tomas Geffner, Karsten Kreis, Weili Nie, Yilun Xu, Jure Leskovec, Stefano Ermon, Arash Vahdat,
- Abstract要約: エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
- 参考スコア（独自算出の注目度）: 126.23425882687195
- License:
- Abstract: Despite remarkable progress in autoregressive language models, alternative generative paradigms beyond left-to-right generation are still being actively explored. Discrete diffusion models, with the capacity for parallel generation, have recently emerged as a promising alternative. Unfortunately, these models still underperform the autoregressive counterparts, with the performance gap increasing when reducing the number of sampling steps. Our analysis reveals that this degradation is a consequence of an imperfect approximation used by diffusion models. In this work, we propose Energy-based Diffusion Language Model (EDLM), an energy-based model operating at the full sequence level for each diffusion step, introduced to improve the underlying approximation used by diffusion models. More specifically, we introduce an EBM in a residual form, and show that its parameters can be obtained by leveraging a pretrained autoregressive model or by finetuning a bidirectional transformer via noise contrastive estimation. We also propose an efficient generation algorithm via parallel important sampling. Comprehensive experiments on language modeling benchmarks show that our model can consistently outperform state-of-the-art diffusion models by a significant margin, and approaches autoregressive models' perplexity. We further show that, without any generation performance drop, our framework offers a 1.3$\times$ sampling speedup over existing diffusion models.
- Abstract（参考訳）: 自己回帰言語モデルの顕著な進歩にもかかわらず、左から右への生成以外の別の生成パラダイムは、現在も活発に研究されている。
並列生成能力を持つ離散拡散モデルは、最近、有望な代替手段として登場した。
残念なことに、これらのモデルは、サンプリングステップの数を減らせばパフォーマンスのギャップが増加するため、自己回帰モデルよりも依然としてパフォーマンスが低い。
解析の結果, この劣化は拡散モデルによる不完全近似の結果であることがわかった。
本研究では,各拡散ステップのフルシーケンスレベルで動作するエネルギーベース拡散言語モデル(EDLM)を提案する。
具体的には,ESMを残留形で導入し,事前学習した自己回帰モデルを利用したり,ノイズコントラスト推定によって双方向トランスフォーマーを微調整することで,そのパラメータが得られることを示す。
また,並列重要サンプリングによる効率的な生成アルゴリズムを提案する。
言語モデリングベンチマークに関する総合的な実験により、我々のモデルは最先端の拡散モデルよりも大幅に優れており、自己回帰モデルの難易度にアプローチできることが示されている。
さらに,既存の拡散モデルよりも1.3$\times$サンプリングの高速化を実現している。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。
我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
論文 参考訳（メタデータ） (2025-01-09T16:50:16Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2024-02-15T18:59:18Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳（メタデータ） (2023-10-25T17:59:12Z) - A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。
離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。
本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-02-11T16:26:57Z) - Diffusion Glancing Transformer for Parallel Sequence to Sequence
Learning [52.72369034247396]
モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。
DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
論文 参考訳（メタデータ） (2022-12-20T13:36:25Z) - Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。
近年,拡散モデルの性能向上への熱意が高まっている。
論文 参考訳（メタデータ） (2022-09-02T02:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。