論文の概要: Simplified and Generalized Masked Diffusion for Discrete Data

• arxiv url: http://arxiv.org/abs/2406.04329v1
• Date: Thu, 6 Jun 2024 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:20:49.748924
• Title: Simplified and Generalized Masked Diffusion for Discrete Data
• Title（参考訳）: 離散データに対する簡易かつ一般化されたマスク付き拡散
• Authors: Jiaxin Shi, Kehang Han, Zhe Wang, Arnaud Doucet, Michalis K. Titsias,
• Abstract要約: 離散データの生成モデリングのための自己回帰モデルの代替として、マスケッド拡散(または吸収拡散)が積極的に研究されている。 本研究の目的は,マスク拡散モデルの潜在能力を最大限に活用する,シンプルで汎用的なフレームワークを提供することである。
• 参考スコア（独自算出の注目度）: 47.711583631408715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked (or absorbing) diffusion is actively explored as an alternative to autoregressive models for generative modeling of discrete data. However, existing work in this area has been hindered by unnecessarily complex model formulations and unclear relationships between different perspectives, leading to suboptimal parameterization, training objectives, and ad hoc adjustments to counteract these issues. In this work, we aim to provide a simple and general framework that unlocks the full potential of masked diffusion models. We show that the continuous-time variational objective of masked diffusion models is a simple weighted integral of cross-entropy losses. Our framework also enables training generalized masked diffusion models with state-dependent masking schedules. When evaluated by perplexity, our models trained on OpenWebText surpass prior diffusion language models at GPT-2 scale and demonstrate superior performance on 4 out of 5 zero-shot language modeling tasks. Furthermore, our models vastly outperform previous discrete diffusion models on pixel-level image modeling, achieving 2.78~(CIFAR-10) and 3.42 (ImageNet 64$\times$64) bits per dimension that are comparable or better than autoregressive models of similar sizes.
• Abstract（参考訳）: 離散データの生成モデリングのための自己回帰モデルの代替として、マスケッド拡散(または吸収拡散)が積極的に研究されている。 しかし、この領域における既存の研究は、必要以上に複雑なモデル定式化と異なる視点間の不明瞭な関係によって妨げられ、これらの問題に対処するための最適パラメータ化、訓練目標、アドホックな調整につながった。 本研究の目的は,マスク拡散モデルの潜在能力を最大限に活用する,シンプルで汎用的なフレームワークを提供することである。 マスク拡散モデルの連続時間変動目的は、クロスエントロピー損失の単純な重み付き積分であることを示す。 また,状態依存型マスキングスケジュールを用いた一般化マスク拡散モデルの訓練も可能とした。 GPT-2スケールでは,OpenWebTextでトレーニングしたモデルが先行拡散言語モデルを上回っ,ゼロショット言語モデリングタスク5つ中4つにおいて優れた性能を示した。 さらに,2.78~(CIFAR-10)と3.42(ImageNet 64$\times$64)ビットを同じ大きさの自己回帰モデルと同等かそれ以上の次元で達成した。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Aggregation of Multi Diffusion Models for Enhancing Learned Representations [4.126721111013567]
  本稿では, Aggregation of Multi Diffusion Models (AMDM) を提案する。 AMDMは、複数の拡散モデルから特定のモデルに特徴を合成し、学習された表現を拡張して、きめ細かい制御のために特定の特徴を活性化する。 実験の結果,AMDMはトレーニング時間や推論時間を必要とせず,微粒化制御を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-10-02T06:16:06Z)
• Simple and Effective Masked Diffusion Language Models [48.68198363304619]
  単純なマスク付き離散拡散は以前考えられていたよりも性能が高いことを示す。 私たちの目標はシンプルなフォーム -- 古典的なマスキング言語モデリング損失の混合です。 言語モデリングベンチマークでは、現代のエンジニアリングプラクティスで訓練された様々なマスク付き拡散モデルが、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-06-11T17:51:40Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Likelihood-Based Diffusion Language Models [13.916640262862215]
  自己回帰型言語モデルと拡散型言語モデルとのギャップを埋める第一歩を踏み出す。 我々は、アルゴリズムの改善、法則のスケーリング、計算量の増加を通じて、この目標を追求する。 我々はGPT-2 124Mをベンチマークデータセットで上回る大きな拡散言語モデルであるPlaid 1Bをリリースする。
  論文  参考訳（メタデータ） (2023-05-30T16:43:31Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
  拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。 近年,拡散モデルの性能向上への熱意が高まっている。
  論文  参考訳（メタデータ） (2022-09-02T02:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。