論文の概要: On Conditioning the Input Noise for Controlled Image Generation with
Diffusion Models
- arxiv url: http://arxiv.org/abs/2205.03859v1
- Date: Sun, 8 May 2022 13:18:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-11 04:57:09.340600
- Title: On Conditioning the Input Noise for Controlled Image Generation with
Diffusion Models
- Title(参考訳): 拡散モデルを用いた制御画像生成のための入力雑音の条件付けについて
- Authors: Vedant Singh, Surgan Jandial, Ayush Chopra, Siddharth Ramesh, Balaji
Krishnamurthy, Vineeth N. Balasubramanian
- Abstract要約: 条件付き画像生成は、画像編集、ストック写真の生成、および3Dオブジェクト生成におけるいくつかのブレークスルーの道を開いた。
本研究では,入出力ノイズアーチファクトを慎重に構築した条件拡散モデルを提案する。
- 参考スコア(独自算出の注目度): 27.472482893004862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional image generation has paved the way for several breakthroughs in
image editing, generating stock photos and 3-D object generation. This
continues to be a significant area of interest with the rise of new
state-of-the-art methods that are based on diffusion models. However, diffusion
models provide very little control over the generated image, which led to
subsequent works exploring techniques like classifier guidance, that provides a
way to trade off diversity with fidelity. In this work, we explore techniques
to condition diffusion models with carefully crafted input noise artifacts.
This allows generation of images conditioned on semantic attributes. This is
different from existing approaches that input Gaussian noise and further
introduce conditioning at the diffusion model's inference step. Our experiments
over several examples and conditional settings show the potential of our
approach.
- Abstract(参考訳): 条件付き画像生成は、画像編集、ストック写真の生成、および3Dオブジェクト生成におけるいくつかのブレークスルーの道を開いた。
これは拡散モデルに基づく新しい最先端の手法の台頭によって、引き続き重要な関心事となっている。
しかし、拡散モデルは生成した画像の制御をほとんど行わず、それによって分類器誘導のような技法を探求し、多様性を忠実さと引き離す方法を提供した。
本研究では,入出力ノイズアーチファクトを慎重に構築した条件拡散モデルを提案する。
これにより、セマンティック属性に基づいたイメージの生成が可能になる。
これはガウスノイズを入力し、拡散モデルの推論ステップで条件付けを導入する既存のアプローチとは異なる。
いくつかの例と条件設定に関する実験は、我々のアプローチの可能性を示している。
関連論文リスト
- Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳(メタデータ) (2023-09-18T09:36:24Z) - Diffusion Models Generate Images Like Painters: an Analytical Theory of
Outline First, Details Later [3.8073142980733]
生成はまずアウトラインにコミットし、さらに詳細をきめ細やかにする必要がある、と私たちは主張します。
対応する逆拡散過程は、ガウスモードで満たされた高次元ランドスケープ上のダイナミクスによってモデル化することができる。
安定拡散のような様々な訓練された無条件および条件拡散モデルの挙動はこれらの予測と一致していることを示す。
論文 参考訳(メタデータ) (2023-03-04T20:08:57Z) - Towards Enhanced Controllability of Diffusion Models [22.84630454597448]
我々は,2つの潜伏符号に条件付き拡散モデル,空間的内容マスクと平らなスタイルの埋め込みを訓練する。
既存の手法と比較して制御性が向上し, 画像操作, 参照ベース画像翻訳, スタイル転送に拡散モデルが有効であることを示す。
論文 参考訳(メタデータ) (2023-02-28T07:43:00Z) - ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion
Trajectories [144.03939123870416]
本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。
いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。
我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
論文 参考訳(メタデータ) (2023-02-05T12:48:21Z) - Image Embedding for Denoising Generative Models [0.0]
逆拡散過程の決定論的性質から拡散入射モデルに着目する。
本研究の副次として,拡散モデルの潜伏空間の構造についてより深い知見を得た。
論文 参考訳(メタデータ) (2022-12-30T17:56:07Z) - DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models [23.70476220346754]
拡散モデルの豊かな中間表現から得られた推定深度情報を利用する拡散モデルのための新しいガイダンス手法を提案する。
実験と広範囲にわたるアブレーション研究により,幾何学的に妥当な画像生成に向けた拡散モデルの導出における本手法の有効性が示された。
論文 参考訳(メタデータ) (2022-12-17T12:47:19Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。