論文の概要: The Diffusion Duality

• arxiv url: http://arxiv.org/abs/2506.10892v1
• Date: Thu, 12 Jun 2025 16:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.85338
• Title: The Diffusion Duality
• Title（参考訳）: 拡散双対性
• Authors: Subham Sekhar Sahoo, Justin Deschenaux, Aaron Gokaslan, Guanghan Wang, Justin Chiu, Volodymyr Kuleshov,
• Abstract要約: 一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。 カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。 本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
• 参考スコア（独自算出の注目度）: 11.823724329261053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uniform-state discrete diffusion models hold the promise of fast text generation due to their inherent ability to self-correct. However, they are typically outperformed by autoregressive models and masked diffusion models. In this work, we narrow this performance gap by leveraging a key insight: Uniform-state diffusion processes naturally emerge from an underlying Gaussian diffusion. Our method, Duo, transfers powerful techniques from Gaussian diffusion to improve both training and sampling. First, we introduce a curriculum learning strategy guided by the Gaussian process, doubling training speed by reducing variance. Models trained with curriculum learning surpass autoregressive models in zero-shot perplexity on 3 of 7 benchmarks. Second, we present Discrete Consistency Distillation, which adapts consistency distillation from the continuous to the discrete setting. This algorithm unlocks few-step generation in diffusion language models by accelerating sampling by two orders of magnitude. We provide the code and model checkpoints on the project page: http://s-sahoo.github.io/duo
• Abstract（参考訳）: 一様状態の離散拡散モデルは、自己修正する固有の能力のため、高速テキスト生成の可能性を保っている。 しかし、それらは一般的に自己回帰モデルやマスク付き拡散モデルより優れる。 本研究では,一様状態拡散過程が基礎となるガウス拡散から自然に現れるという,重要な知見を活用することで,この性能ギャップを狭める。 提案手法であるDuoは,ガウス拡散から強力な手法を伝達し,トレーニングとサンプリングの両方を改善する。 まず,ガウス過程に導かれるカリキュラム学習戦略を導入し,分散を減らして学習速度を2倍にする。 カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。 第2に, 連続的な蒸留から離散的な設定への整合蒸留を適応させる離散整合蒸留法を提案する。 このアルゴリズムは、2桁のサンプリングを高速化することにより拡散言語モデルにおける数ステップの生成を解放する。 プロジェクトページのコードとモデルチェックポイントを提供しています。

関連論文リスト

• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• TESS 2: A Large-Scale Generalist Diffusion Language Model [24.91689676432666]
  TESS 2は命令追従拡散言語モデルであり、命令追従拡散モデルより優れている。 適応学習とベースモデルの選択は,優れた指示追従拡散モデルの訓練に不可欠であることがわかった。 モデル出力の調整を基礎となるモデルのトレーニングを必要とせずに行うための,新しい,モジュール型の推論時ガイダンス手法である報奨ガイダンスを提案する。
  論文  参考訳（メタデータ） (2025-02-19T17:50:31Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
  我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。 CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-05T15:10:04Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。