論文の概要: Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling

• arxiv url: http://arxiv.org/abs/2409.02908v1
• Date: Wed, 4 Sep 2024 17:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 16:37:56.161184
• Title: Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
• Title（参考訳）: 仮設拡散モデルと極秘時間非依存仮設モデルと爆発的不正確なカテゴリーサンプリング
• Authors: Kaiwen Zheng, Yongxin Chen, Hanzi Mao, Ming-Yu Liu, Jun Zhu, Qinsheng Zhang,
• Abstract要約: 仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 我々は,32ビット浮動小数点精度であっても,基礎となる数値問題を初めて同定した。
• 参考スコア（独自算出の注目度）: 47.82616476928464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion models (MDMs) have emerged as a popular research topic for generative modeling of discrete data, thanks to their superior performance over other discrete diffusion models, and are rivaling the auto-regressive models (ARMs) for language modeling tasks. The recent effort in simplifying the masked diffusion framework further leads to alignment with continuous-space diffusion models and more principled training and sampling recipes. In this paper, however, we reveal that both training and sampling of MDMs are theoretically free from the time variable, arguably the key signature of diffusion models, and are instead equivalent to masked models. The connection on the sampling aspect is drawn by our proposed first-hitting sampler (FHS). Specifically, we show that the FHS is theoretically equivalent to MDMs' original generation process while significantly alleviating the time-consuming categorical sampling and achieving a 20$\times$ speedup. In addition, our investigation challenges previous claims that MDMs can surpass ARMs in generative perplexity. We identify, for the first time, an underlying numerical issue, even with the 32-bit floating-point precision, which results in inaccurate categorical sampling. We show that the numerical issue lowers the effective temperature both theoretically and empirically, leading to unfair assessments of MDMs' generation results in the previous literature.
• Abstract（参考訳）: マスク付き拡散モデル(MDM)は、他の離散拡散モデルよりも優れた性能を持つため、離散データの生成モデルとして人気があり、言語モデリングタスクの自己回帰モデル(ARM)と競合している。 マスク付き拡散フレームワークを単純化する最近の取り組みにより、連続空間拡散モデルやより原則化されたトレーニングやサンプリングレシピとの整合性がさらに高められた。 しかし,本論文では,MDMのトレーニングとサンプリングの両方が理論的には時間変数から解放され,拡散モデルのキーシグネチャとなり,代わりにマスクモデルと等価であることを明らかにした。 サンプリング面上の接続は,提案した第1ハイティングサンプリング(FHS)によって引き起こされる。 具体的には、FHSは理論上MDMの原生成プロセスと等価であり、時間を要するカテゴリサンプリングを著しく軽減し、20$\times$スピードアップを実現していることを示す。 さらに、我々の調査は、MDMが生成的パープレキシティにおいてARMを上回ることができるという以前の主張に異議を唱えている。 我々は,32ビット浮動小数点精度が不正確である場合でも,初めて基礎となる数値問題を同定した。 この数値問題により, 理論的にも実証的にも有効温度が低下し, 過去の文献におけるMDMs生成の不公平な評価結果が得られた。

関連論文リスト

• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• Membership Inference Attacks against Diffusion Models [0.0]
  拡散モデルは近年、革新的な生成モデルとして注目されている。 本研究では,拡散モデルがメンバシップ推論攻撃に耐性があるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-02-07T05:20:20Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling [36.02321871608158]
  本稿では,行列プレコンディショニングを利用して問題を緩和するPDS法を提案する。 PDSは、合成品質を維持しながら、棚外のSGMを継続的に加速する。 特に、PSDはより難しい高解像度(1024x1024)の画像生成で最大29倍加速することができる。
  論文  参考訳（メタデータ） (2022-07-05T17:55:42Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。