論文の概要: Classification Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.10095v1
• Date: Thu, 15 Feb 2024 16:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:48:09.841610
• Title: Classification Diffusion Models
• Title（参考訳）: 分類拡散モデル
• Authors: Shahar Yadin, Noam Elata, Tomer Michaeli
• Abstract要約: $textit Diffusion Models$ (CDMs) は、DDMの認知に基づく形式化を採用する生成技術である。 提案手法は,白色ガウス雑音に対するMSE-最適雑音分解器を,雑音レベル予測のためのクロスエントロピー-最適分類器の勾配で表現できることに基づく。
• 参考スコア（独自算出の注目度）: 23.89916376623198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A prominent family of methods for learning data distributions relies on density ratio estimation (DRE), where a model is trained to $\textit{classify}$ between data samples and samples from some reference distribution. These techniques are successful in simple low-dimensional settings but fail to achieve good results on complex high-dimensional data, like images. A different family of methods for learning distributions is that of denoising diffusion models (DDMs), in which a model is trained to $\textit{denoise}$ data samples. These approaches achieve state-of-the-art results in image, video, and audio generation. In this work, we present $\textit{Classification Diffusion Models}$ (CDMs), a generative technique that adopts the denoising-based formalism of DDMs while making use of a classifier that predicts the amount of noise added to a clean signal, similarly to DRE methods. Our approach is based on the observation that an MSE-optimal denoiser for white Gaussian noise can be expressed in terms of the gradient of a cross-entropy-optimal classifier for predicting the noise level. As we illustrate, CDM achieves better denoising results compared to DDM, and leads to at least comparable FID in image generation. CDM is also capable of highly efficient one-step exact likelihood estimation, achieving state-of-the-art results among methods that use a single step. Code is available on the project's webpage in https://shaharYadin.github.io/CDM/ .
• Abstract（参考訳）: データ分散を学習する一流の手法は密度比推定(DRE)に依存し、モデルがデータサンプルと参照分布からのサンプルの間で$\textit{classify}$にトレーニングされる。 これらの手法は単純な低次元設定では成功しているが、画像のような複雑な高次元データでは良い結果を得ることができない。 分散を学習する別の方法の1つに拡散モデル(DDM)があるが、そこではモデルが$\textit{denoise}$データサンプルに訓練される。 これらのアプローチは、画像、ビデオ、オーディオ生成における最先端の結果を達成する。 本稿では、DRE法と同様にクリーン信号に付加される雑音の量を予測する分類器を用いて、DDMの復調に基づく定式化を採用する生成手法である$\textit{Classification Diffusion Models}$(CDMs)を提案する。 提案手法は,白色ガウス雑音に対するMSE-最適雑音分解器を,雑音レベル予測のためのクロスエントロピー-最適分類器の勾配で表現できることに基づく。 以下に示すように、CDMはDDMと比較してより優れた分解結果を得ることができ、画像生成において少なくとも同等のFIDをもたらす。 cdmは、1ステップのメソッド間で最先端の結果を得るため、高効率な1ステップ正確な推定も可能である。 コードはプロジェクトのwebページからhttps://shaharyadin.github.io/cdm/で入手できる。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• SEMRes-DDPM: Residual Network Based Diffusion Modelling Applied to Imbalanced Data [9.969882349165745]
  データマイニングと機械学習の分野では、一般的に使われている分類モデルは、不均衡なデータで効果的に学習することはできない。 古典的なオーバーサンプリング手法の多くは、データのローカル情報のみに焦点を当てたSMOTE技術に基づいている。 本稿では,SEMRes-DDPMのオーバーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T14:01:04Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• Denoising diffusion models for out-of-distribution detection [2.113925122479677]
  我々は,確率拡散モデル(DDPM)を自己エンコーダの復号化として活用する。 DDPMを用いてノイズレベルの範囲の入力を再構成し,結果の多次元再構成誤差を用いてアウト・オブ・ディストリビューション入力を分類する。
  論文  参考訳（メタデータ） (2022-11-14T20:35:11Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。