論文の概要: High-Resolution Image Synthesis with Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2112.10752v1
• Date: Mon, 20 Dec 2021 18:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 17:21:22.927281
• Title: High-Resolution Image Synthesis with Latent Diffusion Models
• Title（参考訳）: 潜時拡散モデルによる高分解能画像合成
• Authors: Robin Rombach and Andreas Blattmann and Dominik Lorenz and Patrick Esser and Bj\"orn Ommer
• Abstract要約: オートエンコーダ上での拡散モデルの訓練は、複雑性の低減と詳細保存の間のほぼ最適点に初めて到達することができる。 我々の潜伏拡散モデル(LDMs)は,様々なタスクにおける画像インペイントと高い競争性能の新たな技術を実現する。
• 参考スコア（独自算出の注目度）: 14.786952412297808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .
• Abstract（参考訳）: 画像形成プロセスをデノージングオートエンコーダの逐次応用に分解することにより、拡散モデル(dms)は画像データなどにおいて最先端の合成結果を達成する。 さらに、それらの定式化により、リトレーニングなしで画像生成プロセスを制御できる誘導機構が実現される。 しかし、これらのモデルは通常ピクセル空間で直接動作するため、強力なDMの最適化はしばしば数百日ものGPU日を消費し、逐次評価のために推論は高価である。 制限された計算資源に対して,その品質と柔軟性を保ちながら,DMトレーニングを可能にするために,パワートレーニング済みオートエンコーダの潜時空間に適用する。 従来の研究とは対照的に、そのような表現のトレーニング拡散モデルにより、複雑性の低減と詳細保存のほぼ最適点に到達することができ、視覚的忠実度を大幅に向上させることができる。 モデルアーキテクチャにクロスアテンション層を導入することで、拡散モデルをテキストやバウンディングボックスなどの一般的なコンディショニング入力のための強力で柔軟なジェネレータに変換し、畳み込み方式で高分解能合成が可能となる。 我々の潜時拡散モデル(LDMs)は,非条件画像生成,セマンティックシーン合成,超解像などの様々なタスクにおいて,画像インパインティングと高い競争性能を実現するとともに,画素ベースのDMと比較して計算要求を大幅に低減する。 コードはhttps://github.com/CompVis/latent-diffusion で入手できる。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Representation Learning with Diffusion Models [0.0]
  拡散モデル (DM) は画像合成タスクや密度推定において最先端の結果を得た。 拡散モデル(LRDM)を用いてそのような表現を学習するためのフレームワークを提案する。 特に、DMと表現エンコーダは、生成的認知過程に特有の豊かな表現を学習するために、共同で訓練される。
  論文  参考訳（メタデータ） (2022-10-20T07:26:47Z)
• DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
  本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。 我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
  論文  参考訳（メタデータ） (2022-06-01T10:39:12Z)
• Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation [19.156223720614186]
  ベクトル量子変分オートエンコーダと自己回帰モデルとを生成部として統合することにより、画像生成における高品質な結果が得られる。 本稿では,VQ-VAEからのコンテンツリッチな離散視覚コードブックの助けを借りて,この離散拡散モデルにより,グローバルな文脈で高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-03T09:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。