論文の概要: Glauber Generative Model: Discrete Diffusion Models via Binary Classification

• arxiv url: http://arxiv.org/abs/2405.17035v3
• Date: Tue, 27 Aug 2024 13:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:19:38.408990
• Title: Glauber Generative Model: Discrete Diffusion Models via Binary Classification
• Title（参考訳）: グラウバー生成モデル:二項分類による離散拡散モデル
• Authors: Harshit Varma, Dheeraj Nagaraj, Karthikeyan Shanmugam,
• Abstract要約: 離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。 GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。 言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 21.816933208895843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the Glauber Generative Model (GGM), a new class of discrete diffusion models, to obtain new samples from a distribution given samples from a discrete space. GGM deploys a discrete Markov chain called the heat bath dynamics (or the Glauber dynamics) to denoise a sequence of noisy tokens to a sample from a joint distribution of discrete tokens. Our novel conceptual framework provides an exact reduction of the task of learning the denoising Markov chain to solving a class of binary classification tasks. More specifically, the model learns to classify a given token in a noisy sequence as signal or noise. In contrast, prior works on discrete diffusion models either solve regression problems to learn importance ratios, or minimize loss functions given by variational approximations. We apply GGM to language modeling and image generation, where images are discretized using image tokenizers like VQGANs. We show that it outperforms existing discrete diffusion models in language generation, and demonstrates strong performance for image generation without using dataset-specific image tokenizers. We also show that our model is capable of performing well in zero-shot control settings like text and image infilling.
• Abstract（参考訳）: 離散拡散モデルの新たなクラスであるGlauber Generative Model (GGM)を導入し、離散空間から与えられた分布から新しいサンプルを得る。 GGMは、熱浴力学(またはグラウバー力学)と呼ばれる離散マルコフ連鎖を展開させ、離散トークンの連成分布からサンプルにノイズトークンの列を分解する。 我々の新しい概念的枠組みは、マルコフ連鎖を二項分類タスクのクラスを解くために学習するタスクを正確に削減するものである。 より具体的には、モデルは与えられたトークンをノイズシーケンスで信号またはノイズとして分類することを学ぶ。 対照的に、離散拡散モデルに関する先行研究は、回帰問題を解くか、重要度を学習するか、あるいは変分近似によって与えられる損失関数を最小化する。 本稿では,言語モデリングや画像生成にGGMを適用し,VQGANなどの画像トークンを用いて画像の識別を行う。 言語生成において既存の離散拡散モデルより優れており、データセット固有の画像トークンーザを使わずに、画像生成に強い性能を示す。 また,本モデルでは,テキストや画像の入力などのゼロショット制御設定でも良好に動作可能であることを示す。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
  拡散モデル(DM)は、生成機械学習の手法のクラスである。 ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
  論文  参考訳（メタデータ） (2024-07-15T18:00:11Z)
• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Markup-to-Image Diffusion Models with Scheduled Sampling [111.30188533324954]
  画像生成の最近の進歩に基づき,画像にマークアップを描画するためのデータ駆動型アプローチを提案する。 このアプローチは拡散モデルに基づいており、デノナイジング操作のシーケンスを用いてデータの分布をパラメータ化する。 数式(La)、テーブルレイアウト(HTML)、シート音楽(LilyPond)、分子画像(SMILES)の4つのマークアップデータセットの実験を行った。
  論文  参考訳（メタデータ） (2022-10-11T04:56:12Z)
• Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation [19.156223720614186]
  ベクトル量子変分オートエンコーダと自己回帰モデルとを生成部として統合することにより、画像生成における高品質な結果が得られる。 本稿では,VQ-VAEからのコンテンツリッチな離散視覚コードブックの助けを借りて,この離散拡散モデルにより,グローバルな文脈で高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-03T09:09:34Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。