論文の概要: Boomerang: Local sampling on image manifolds using diffusion models
- arxiv url: http://arxiv.org/abs/2210.12100v1
- Date: Fri, 21 Oct 2022 16:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:34:27.639381
- Title: Boomerang: Local sampling on image manifolds using diffusion models
- Title(参考訳): boomerang:拡散モデルを用いた画像多様体上の局所サンプリング
- Authors: Lorenzo Luzi, Ali Siahkoohi, Paul M Mayer, Josue Casco-Rodriguez,
Richard Baraniuk
- Abstract要約: 拡散モデルは、高次元の潜在空間の低次元学習多様体への写像点と見なすことができる。
本稿では,拡散モデルのダイナミクスを用いた局所画像多様体サンプリング手法であるBoomerangを紹介する。
- 参考スコア(独自算出の注目度): 1.3999481573773072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models can be viewed as mapping points in a high-dimensional latent
space onto a low-dimensional learned manifold, typically an image manifold. The
intermediate values between the latent space and image manifold can be
interpreted as noisy images which are determined by the noise scheduling scheme
employed during pre-training. We exploit this interpretation to introduce
Boomerang, a local image manifold sampling approach using the dynamics of
diffusion models. We call it Boomerang because we first add noise to an input
image, moving it closer to the latent space, then bring it back to the image
space through diffusion dynamics. We use this method to generate images which
are similar, but nonidentical, to the original input images on the image
manifold. We are able to set how close the generated image is to the original
based on how much noise we add. Additionally, the generated images have a
degree of stochasticity, allowing us to locally sample as many times as we want
without repetition. We show three applications for which Boomerang can be used.
First, we provide a framework for constructing privacy-preserving datasets
having controllable degrees of anonymity. Second, we show how to use Boomerang
for data augmentation while staying on the image manifold. Third, we introduce
a framework for image super-resolution with 8x upsampling. Boomerang does not
require any modification to the training of diffusion models and can be used
with pretrained models on a single, inexpensive GPU.
- Abstract(参考訳): 拡散モデルは、高次元の潜在空間の低次元学習多様体(典型的には像多様体)への写像点と見なすことができる。
遅延空間と画像多様体の間の中間値は、事前学習時に使用するノイズスケジューリングスキームによって決定されるノイズ画像と解釈できる。
この解釈を用いて,拡散モデルのダイナミクスを用いた局所画像多様体サンプリング手法boomerangを導入する。
これをboomerangと呼ぶのは、まず入力画像にノイズを加え、それを潜在空間に近づけて、拡散ダイナミクスを通じて画像空間に戻すからです。
この手法を用いて、画像多様体上の元の入力画像と類似しているが同一でない画像を生成する。
生成したイメージがオリジナルにどの程度近いかは、ノイズの量に基づいて設定できます。
さらに、生成された画像は確率性の度合いがあり、反復せずに何回も局所的にサンプリングすることができる。
我々はboomerangを使用できる3つの応用例を示す。
まず、匿名性制御が可能なプライバシー保護データセットを構築するためのフレームワークを提供する。
次に,画像多様体上に留まりながら,データ拡張にBoomerangを使用する方法を示す。
第3に,8倍のアップサンプリングによる画像超解像のためのフレームワークを提案する。
Boomerangは拡散モデルのトレーニングを一切必要とせず、単一の安価なGPU上で事前訓練されたモデルで使用することができる。
関連論文リスト
- Glauber Generative Model: Discrete Diffusion Models via Binary Classification [21.816933208895843]
離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。
GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。
言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-05-27T10:42:13Z) - Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise [34.65659277870287]
微分拡散モデルの研究は、画像復元の分野への応用を拡大した。
本稿では,残余項を拡散前進過程に組み込むフレームワークであるResfusionを提案する。
Resfusionは, ISTDデータセット, LOLデータセット, Raindropデータセットに対して, わずか5つのサンプリングステップで競合性能を示すことを示す。
論文 参考訳(メタデータ) (2023-11-25T02:09:38Z) - Diffusion with Forward Models: Solving Stochastic Inverse Problems
Without Direct Supervision [76.32860119056964]
本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。
コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2023-06-20T17:53:00Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳(メタデータ) (2023-03-16T13:15:03Z) - Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later [1.8416014644193066]
画像生成の基盤となる逆拡散過程には,以下の特性がある。
個々の軌道は低次元であり、2次元回転に似ている」。
本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
論文 参考訳(メタデータ) (2023-03-04T20:08:57Z) - ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion
Trajectories [144.03939123870416]
本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。
いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。
我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
論文 参考訳(メタデータ) (2023-02-05T12:48:21Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image
Synthesis [39.671396431940224]
拡散モデルは、徐々にノイズを取り除き、増幅信号を増幅することにより、画像合成において顕著な結果を示した。
本稿では,画像の粗大な合成方法を提案する。
実験の結果,提案手法はLSUNの寝室や教会のデータセットにおいて,従来のFID法よりも優れていた。
論文 参考訳(メタデータ) (2022-07-16T15:00:21Z) - Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial
Auto-Encoders [137.1060633388405]
拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。
我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。
提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
論文 参考訳(メタデータ) (2022-02-19T20:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。