論文の概要: Discrete Diffusion Models for Language Generation

• arxiv url: http://arxiv.org/abs/2507.07050v1
• Date: Wed, 02 Jul 2025 23:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.698968
• Title: Discrete Diffusion Models for Language Generation
• Title（参考訳）: 離散拡散モデルによる言語生成
• Authors: Ashen Weligalle,
• Abstract要約: 本論文は、自然言語生成のための離散拡散モデルの実現可能性と性能について考察する。 我々は、生成性能を評価するためにBits Per Token(BPT)、Negative Log-Likelihood(NLL)、Perplexity(PPL)、Batch Processing Speedを使用します。 ARモデルは平均BPTが4.59で圧縮性能が向上するが、D3PMは処理速度が向上し、毎秒3.97バッチに達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a powerful class of generative models, achieving state-of-the-art results in continuous data domains such as image and video generation. Their core mechanism involves a forward diffusion process that gradually transforms structured data into a Gaussian-like distribution, followed by a learned reverse process to reconstruct the data. While successful in continuous modalities, applying this framework to discrete data-particularly natural language-remains challenging due to token dependency complexities and the lack of a defined generation order.This thesis investigates the feasibility and performance of discrete diffusion models for natural language generation. Specifically, we evaluate the Discrete Denoising Diffusion Probabilistic Model (D3PM) and compare it with traditional autoregressive (AR) language models. To assess generative performance, we use Bits Per Token (BPT), Negative Log-Likelihood (NLL), Perplexity (PPL), and Batch Processing Speed. Results show the best-performing D3PM model achieves a BPT of 5.72, with a mean of 8.05. The AR model outperforms in compression with a lower mean BPT of 4.59, but D3PM achieves higher processing speed, reaching up to 3.97 batches per sec., indicating potential for parallel generation.All evaluations were conducted under consistent conditions-generating 100,000 tokens per model with a fixed batch size of four-for fair comparison. This research presents a detailed analysis of diffusion-based vs. autoregressive models, highlighting trade-offs in generative quality and efficiency. Findings emphasize both the promise and limitations of diffusion models for discrete data, supporting future work in non-autoregressive language generation.
• Abstract（参考訳）: 拡散モデルは生成モデルの強力なクラスとして登場し、画像やビデオ生成のような連続的なデータ領域における最先端の結果を達成する。 彼らの中心となるメカニズムは、構造化されたデータをガウス的な分布に徐々に変換する前方拡散プロセスと、学習された逆過程によってデータを再構成する。 連続的なモダリティに成功しながらも、トークン依存の複雑さと定義された生成順序の欠如により、離散データ-特に自然言語-残留にこのフレームワークを適用し、自然言語生成のための離散拡散モデルの実現可能性と性能について検討する。 具体的には、離散拡散確率モデル(D3PM)を評価し、従来の自己回帰(AR)言語モデルと比較する。 生成性能を評価するために,Bits Per Token (BPT), Negative Log-Likelihood (NLL), Perplexity (PPL), Batch Processing Speedを使用する。 その結果、最高の性能のD3PMモデルは平均8.05の5.72のBPTを達成することがわかった。 D3PMは1秒あたり最大3.97バッチに到達し、並列生成の可能性を示す。全ての評価は、一貫した条件下で、1モデル当たり10000トークンを生成し、固定バッチサイズを4対公平に比較した。 本研究では,拡散に基づく自己回帰モデルと自己回帰モデルについて詳細に分析し,生成的品質と効率のトレードオフを明らかにする。 発見は、離散データに対する拡散モデルの約束と制限の両方を強調し、非自己回帰言語生成における将来の作業をサポートする。

関連論文リスト

• Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
  拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。 本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。 統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
  論文  参考訳（メタデータ） (2025-07-21T17:10:16Z)
• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS [0.0]
  拡散モデルは確率論的アプローチにより高品質なデータを生成することができる。 これは、多くの時間ステップを必要とするため、生成速度が遅くなるという欠点に悩まされる。 本稿では、逆過程の分布を学習する拡散判別器と、生成されたデータの分布を学習するスペクトログラム判別器の2つの識別器を用いた音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:22:04Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• Structured Denoising Diffusion Models in Discrete State-Spaces [15.488176444698404]
  本稿では離散化拡散確率モデル(D3PM)を離散データに適用する。 遷移行列の選択は、画像およびテキスト領域における結果の改善につながる重要な設計決定である。 テキストでは、このモデルクラスは、LM1B上の大きな語彙にスケールしながら、文字レベルのテキスト生成に強い結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-07T04:11:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。