論文の概要: Deep Equilibrium Approaches to Diffusion Models

• arxiv url: http://arxiv.org/abs/2210.12867v1
• Date: Sun, 23 Oct 2022 22:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 14:59:27.364035
• Title: Deep Equilibrium Approaches to Diffusion Models
• Title（参考訳）: 拡散モデルへの深い平衡アプローチ
• Authors: Ashwini Pokle, Zhengyang Geng, Zico Kolter
• Abstract要約: 拡散に基づく生成モデルは高品質な画像を生成するのに極めて効果的である。 これらのモデルは通常、高忠実度画像を生成するために長いサンプリングチェーンを必要とする。 我々は、異なる観点からの拡散モデル、すなわち(深い)平衡(DEQ)固定点モデルについて考察する。
• 参考スコア（独自算出の注目度）: 1.4275201654498746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based generative models are extremely effective in generating high-quality images, with generated samples often surpassing the quality of those produced by other models under several metrics. One distinguishing feature of these models, however, is that they typically require long sampling chains to produce high-fidelity images. This presents a challenge not only from the lenses of sampling time, but also from the inherent difficulty in backpropagating through these chains in order to accomplish tasks such as model inversion, i.e. approximately finding latent states that generate known images. In this paper, we look at diffusion models through a different perspective, that of a (deep) equilibrium (DEQ) fixed point model. Specifically, we extend the recent denoising diffusion implicit model (DDIM; Song et al. 2020), and model the entire sampling chain as a joint, multivariate fixed point system. This setup provides an elegant unification of diffusion and equilibrium models, and shows benefits in 1) single image sampling, as it replaces the fully-serial typical sampling process with a parallel one; and 2) model inversion, where we can leverage fast gradients in the DEQ setting to much more quickly find the noise that generates a given image. The approach is also orthogonal and thus complementary to other methods used to reduce the sampling time, or improve model inversion. We demonstrate our method's strong performance across several datasets, including CIFAR10, CelebA, and LSUN Bedrooms and Churches.
• Abstract（参考訳）: 拡散に基づく生成モデルは高品質な画像を生成するのに極めて効果的であり、生成したサンプルは他のモデルが生成した画像の品質をいくつかの指標で上回ることが多い。 しかし、これらのモデルの特徴の1つは、高忠実度画像を生成するのに、通常長いサンプリングチェーンが必要であることである。 これはサンプリング時間のレンズからだけでなく、モデル逆転などのタスクを達成するためにこれらの鎖をバックプロパゲートすることの固有の困難、すなわち既知の画像を生成する潜伏状態の発見からも問題となる。 本稿では,異なる観点からの拡散モデル,すなわち(深い)平衡(DEQ)固定点モデルについて考察する。 具体的には,近年の拡散暗黙モデル(DDIM, Song et al. 2020)を拡張し,サンプル連鎖全体を連成多変量固定点系としてモデル化する。 この設定は拡散と平衡モデルのエレガントな統一を提供し、利点を示す。 1) 完全なシリアルな典型的なサンプリングプロセスを並列に置き換えるため、単一画像サンプリング。 2)モデル反転(model inversion)は、deq設定の高速勾配を利用して、与えられた画像を生成するノイズをより迅速に見つけることができる。 このアプローチは直交的であり、サンプリング時間を短縮したり、モデルの反転を改善するために使われる他の方法と相補的である。 CIFAR10, CelebA, LSUN Bedrooms, Churchesなどいくつかのデータセットで, 提案手法の強い性能を示す。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• An Ordinary Differential Equation Sampler with Stochastic Start for Diffusion Bridge Models [13.00429687431982]
  拡散ブリッジモデルは、純粋なガウスノイズではなく、劣化した画像から生成過程を初期化する。 既存の拡散ブリッジモデルは、しばしば微分方程式のサンプリングに頼り、推論速度が遅くなる。 拡散ブリッジモデルの開始点を有する高次ODEサンプリング器を提案する。 本手法は, 既訓練拡散ブリッジモデルと完全に互換性があり, 追加の訓練は不要である。
  論文  参考訳（メタデータ） (2024-12-28T03:32:26Z)
• Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
  拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。 既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。 本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T08:27:56Z)
• Simultaneous Image-to-Zero and Zero-to-Noise: Diffusion Models with Analytical Image Attenuation [53.04220377034574]
  高品質(未条件)な画像生成のための前方拡散プロセスに解析的画像減衰プロセスを導入することを提案する。 本手法は,フォワード画像からノイズへのマッピングを,テクスチメジからゼロへのマッピングとテクスティケロ・ツー・ノイズマッピングの同時マッピングとして表現する。 我々は,CIFAR-10やCelebA-HQ-256などの無条件画像生成や,超解像,サリエンシ検出,エッジ検出,画像インペインティングなどの画像条件下での下流処理について実験を行った。
  論文  参考訳（メタデータ） (2023-06-23T18:08:00Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Accelerating Score-based Generative Models for High-Resolution Image Synthesis [42.076244561541706]
  スコアベース生成モデル(SGM)は、最近、将来性のある生成モデルのクラスとして登場した。 本研究では,SGMによる高分解能発生の加速について考察する。 本稿では,空間および周波数領域の構造的先行性を活用することによって,TDAS(Target Distribution Smpling Aware)手法を提案する。
  論文  参考訳（メタデータ） (2022-06-08T17:41:14Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)
• Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation [19.156223720614186]
  ベクトル量子変分オートエンコーダと自己回帰モデルとを生成部として統合することにより、画像生成における高品質な結果が得られる。 本稿では,VQ-VAEからのコンテンツリッチな離散視覚コードブックの助けを借りて,この離散拡散モデルにより,グローバルな文脈で高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-03T09:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。