論文の概要: Simple Denoising Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2510.22926v1
• Date: Mon, 27 Oct 2025 02:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.578668
• Title: Simple Denoising Diffusion Language Models
• Title（参考訳）: 単純な拡散言語モデル
• Authors: Huaisheng Zhu, Zhengyu Chen, Shijie Zhou, Zhihui Xie, Yige Yuan, Zhimeng Guo, Siyuan Xu, Hangfan Zhang, Vasant Honavar, Teng Xiao,
• Abstract要約: 我々は一様状態拡散モデル(USDM)の簡易化に基づく損失法を提案する。 対照的に負の勾配に着想を得たデノナイジング損失に簡単な修正を加え, 実用的であり, 生成品質の向上が期待できる。
• 参考スコア（独自算出の注目度）: 32.08084107137018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have recently been extended to language generation through Masked Diffusion Language Models (MDLMs), which achieve performance competitive with strong autoregressive models. However, MDLMs tend to degrade in the few-step regime and cannot directly adopt existing few-step distillation methods designed for continuous diffusion models, as they lack the intrinsic property of mapping from noise to data. Recent Uniform-state Diffusion Models (USDMs), initialized from a uniform prior, alleviate some limitations but still suffer from complex loss formulations that hinder scalability. In this work, we propose a simplified denoising-based loss for USDMs that optimizes only noise-replaced tokens, stabilizing training and matching ELBO-level performance. Furthermore, by framing denoising as self-supervised learning, we introduce a simple modification to our denoising loss with contrastive-inspired negative gradients, which is practical and yield additional improvements in generation quality.
• Abstract（参考訳）: 拡散モデルは、最近Masked Diffusion Language Models (MDLMs)を通じて言語生成に拡張され、強力な自己回帰モデルと競合する性能を実現した。 しかし、MDLMは数段階体制で劣化する傾向があり、ノイズからデータへのマッピングの本質的な性質が欠如しているため、連続拡散モデルのために設計された既存の数段階蒸留手法を直接採用することができない。 最近の統一状態拡散モデル(USDM)は、一様の先行から初期化され、いくつかの制限を緩和するが、拡張性を妨げる複雑な損失の定式化に悩まされている。 本研究では,ノイズ交換トークンのみを最適化し,トレーニングの安定化とELBOレベルの性能の整合性を最適化する,USDMの簡易化に基づく損失法を提案する。 さらに,自己指導型学習として認知度を浮き彫りにすることで,否定的負の勾配による認知度低下の簡易な修正が実現され,生成品質がさらに向上した。

関連論文リスト

• Fewer Denoising Steps or Cheaper Per-Step Inference: Towards Compute-Optimal Diffusion Model Deployment [14.097906894386066]
  PostDiffは、トレーニング済みの拡散モデルを加速するためのトレーニング不要のフレームワークである。 我々はPostDiffが最先端拡散モデルの忠実性と効率のトレードオフを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2025-08-08T09:29:37Z)
• Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling [48.96034602889216]
  Variencoding Discrete Diffusion (VADD) は、潜在変数モデリングによる離散拡散を強化する新しいフレームワークである。 補助的認識モデルを導入することにより、VADDはトレーニングセット上の変分下界と償却推論を介して安定したトレーニングを可能にする。 2Dトイデータ、画素レベルの画像生成、テキスト生成に関する実証結果は、VADDがMDMベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-23T01:45:47Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios [10.57695963534794]
  VAEに基づく手法には、局所的なジッタとグローバルな不安定性の問題が伴う。 本稿では,音声制御信号を捕捉し,拡散段差と発声段差の多モーダル denoising 分布を暗黙的に一致させる条件付き GAN を提案する。
  論文  参考訳（メタデータ） (2024-10-27T07:25:11Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [80.20339155618612]
  DiffusionADは、再構成サブネットワークとセグメンテーションサブネットワークからなる、新しい異常検出パイプラインである。 高速なワンステップデノゲーションパラダイムは、同等の再現品質を維持しながら、数百倍の加速を達成する。 異常の出現の多様性を考慮し、複数のノイズスケールの利点を統合するためのノルム誘導パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。