論文の概要: Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data

• arxiv url: http://arxiv.org/abs/2406.03736v1
• Date: Thu, 6 Jun 2024 04:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 18:25:49.922664
• Title: Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data
• Title（参考訳）: 離散拡散の吸収はクリーンデータの条件分布をひそかにモデル化する
• Authors: Jingyang Ou, Shen Nie, Kaiwen Xue, Fengqi Zhu, Jiacheng Sun, Zhenguo Li, Chongxuan Li,
• Abstract要約: 本研究では, 吸収拡散の具体的なスコアをクリーンデータの条件付き確率として表すことができることを示す。 時間に依存しない条件付き確率を特徴付ける専用拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 55.54827581105283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models with absorbing processes have shown promise in language modeling. The key quantities to be estimated are the ratios between the marginal probabilities of two transitive states at all timesteps, called the concrete score. In this paper, we reveal that the concrete score in absorbing diffusion can be expressed as conditional probabilities of clean data, multiplied by a time-dependent scalar in an analytic form. Motivated by the finding, we propose reparameterized absorbing discrete diffusion (RADD), a dedicated diffusion model that characterizes the time-independent conditional probabilities. Besides its simplicity, RADD can reduce the number of function evaluations (NFEs) by caching the output of the time-independent network when the noisy sample remains unchanged in a sampling interval. Empirically, RADD is up to 3.5 times faster while consistently achieving a better performance than the strongest baseline. Built upon the new factorization of the concrete score, we further prove a surprising result that the exact likelihood of absorbing diffusion can be rewritten to a simple form (named denoising cross-entropy) and then estimated efficiently by the Monte Carlo method. The resulting approach also applies to the original parameterization of the concrete score. It significantly advances the state-of-the-art discrete diffusion on 5 zero-shot language modeling benchmarks (measured by perplexity) at the GPT-2 scale.
• Abstract（参考訳）: 吸収過程を持つ離散拡散モデルは言語モデリングにおいて有望であることを示す。 推定すべき重要な量は、コンクリートスコアと呼ばれる任意の時間ステップにおける2つの遷移状態の限界確率の比率である。 本稿では, 吸収拡散の具体的なスコアを, 時間依存スカラーを解析形式で乗じて, クリーンデータの条件確率として表現できることを明らかにする。 そこで本研究では,時間非依存の条件付き確率を特徴付ける専用拡散モデルRADDを提案する。 単純さに加えて、RADはサンプリング間隔でノイズサンプルが変化しない場合に、時間に依存しないネットワークの出力をキャッシュすることで、関数評価(NFE)の数を削減できる。 RADDは最大3.5倍高速で、最強のベースラインよりも一貫して優れたパフォーマンスを実現している。 コンクリートスコアの新たな因子化に基づいて、拡散を吸収する正確な確率を単純な形式(denoising cross-entropy)に書き換え、モンテカルロ法により効率的に推定できるという驚くべき結果をさらに証明する。 結果として得られるアプローチは、具体的なスコアの元のパラメータ化にも適用される。 GPT-2スケールで5つのゼロショット言語モデリングベンチマーク(パープレキシティによって測定される)上で、最先端の離散拡散を著しく向上させる。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation [6.9295879301090535]
  確率的時系列計算のための遅延空間スコアベース拡散モデル(LSSDM)を提案する。 LSSDMは、計算機構のより良い説明と不確実性解析を提供しながら、優れた計算性能を実現する。
  論文  参考訳（メタデータ） (2024-09-13T15:32:26Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。