論文の概要: Boomerang: Local sampling on image manifolds using diffusion models
- arxiv url: http://arxiv.org/abs/2210.12100v2
- Date: Wed, 17 Apr 2024 21:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 21:00:27.874130
- Title: Boomerang: Local sampling on image manifolds using diffusion models
- Title(参考訳): Boomerang:拡散モデルを用いた画像多様体の局所サンプリング
- Authors: Lorenzo Luzi, Paul M Mayer, Josue Casco-Rodriguez, Ali Siahkoohi, Richard G. Baraniuk,
- Abstract要約: 本稿では,画像多様体の局所サンプリング手法であるBoomerangを提案する。
生成された画像はある程度の知覚性を示し、多様体から局所的なサンプルを得ることができる。
本稿では,データ拡張にBoomerangを用いることにより,データ拡張の性能が向上し,合成データ拡張に優れることを示す。
- 参考スコア(独自算出の注目度): 21.54901447135763
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inference stage of diffusion models can be seen as running a reverse-time diffusion stochastic differential equation, where samples from a Gaussian latent distribution are transformed into samples from a target distribution that usually reside on a low-dimensional manifold, e.g., an image manifold. The intermediate values between the initial latent space and the image manifold can be interpreted as noisy images, with the amount of noise determined by the forward diffusion process noise schedule. We utilize this interpretation to present Boomerang, an approach for local sampling of image manifolds. As implied by its name, Boomerang local sampling involves adding noise to an input image, moving it closer to the latent space, and then mapping it back to the image manifold through a partial reverse diffusion process. Thus, Boomerang generates images on the manifold that are ``similar,'' but nonidentical, to the original input image. We can control the proximity of the generated images to the original by adjusting the amount of noise added. Furthermore, due to the stochastic nature of the reverse diffusion process in Boomerang, the generated images display a certain degree of stochasticity, allowing us to obtain local samples from the manifold without encountering any duplicates. Boomerang offers the flexibility to work seamlessly with any pretrained diffusion model, such as Stable Diffusion, without necessitating any adjustments to the reverse diffusion process. We present three applications for Boomerang. First, we provide a framework for constructing privacy-preserving datasets having controllable degrees of anonymity. Second, we show that using Boomerang for data augmentation increases generalization performance and outperforms state-of-the-art synthetic data augmentation. Lastly, we introduce a perceptual image enhancement framework, which enables resolution enhancement.
- Abstract(参考訳): 拡散モデルの推論段階は、逆時間拡散確率微分方程式(英語版)(reverse-time diffusion stochastic differential equation)として見ることができ、ガウスの潜在分布からのサンプルは、通常、低次元多様体、eg、画像多様体(英語版)に存在する対象分布からサンプルに変換される。
初期潜時空間と画像多様体の間の中間値は、前方拡散処理ノイズスケジュールによって決定されるノイズの量でノイズ画像と解釈できる。
この解釈を利用して、像多様体の局所サンプリング手法であるBoomerangを提示する。
その名の通り、ブーメラン局所サンプリングは入力画像にノイズを加え、潜伏空間に近づき、部分的な逆拡散過程を通じて像多様体にマッピングする。
このように、ブーメランは'similar,'' である多様体上の像を生成するが、元の入力画像とは同一ではない。
付加する雑音量を調整することにより、生成した画像と原画像との近接を制御できる。
さらに, ブーメランの逆拡散過程の確率的性質から, 生成した画像はある程度の確率性を示し, 重複に遭遇することなく, 多様体から局所的なサンプルを得ることができた。
ブーメランは、逆拡散過程の調整を必要とせず、安定拡散のような事前訓練された拡散モデルとシームレスに働く柔軟性を提供する。
ブーメランには3つの応用法を提案する。
まず、制御可能な匿名度を有するプライバシー保護データセットを構築するためのフレームワークを提供する。
第2に,Boomerangをデータ拡張に使用すると,一般化性能が向上し,最先端の合成データ拡張よりも優れることを示す。
最後に,解像度向上を実現する知覚画像強調フレームワークを提案する。
関連論文リスト
- Diffusion with Forward Models: Solving Stochastic Inverse Problems
Without Direct Supervision [76.32860119056964]
本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。
コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2023-06-20T17:53:00Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳(メタデータ) (2023-03-16T13:15:03Z) - Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later [1.8416014644193066]
画像生成の基盤となる逆拡散過程には,以下の特性がある。
個々の軌道は低次元であり、2次元回転に似ている」。
本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
論文 参考訳(メタデータ) (2023-03-04T20:08:57Z) - ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion
Trajectories [144.03939123870416]
本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。
いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。
我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
論文 参考訳(メタデータ) (2023-02-05T12:48:21Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image
Synthesis [39.671396431940224]
拡散モデルは、徐々にノイズを取り除き、増幅信号を増幅することにより、画像合成において顕著な結果を示した。
本稿では,画像の粗大な合成方法を提案する。
実験の結果,提案手法はLSUNの寝室や教会のデータセットにおいて,従来のFID法よりも優れていた。
論文 参考訳(メタデータ) (2022-07-16T15:00:21Z) - Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial
Auto-Encoders [137.1060633388405]
拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。
我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。
提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
論文 参考訳(メタデータ) (2022-02-19T20:18:49Z) - Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models
for Inverse Problems through Stochastic Contraction [31.61199061999173]
拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。
ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。
ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
論文 参考訳(メタデータ) (2021-12-09T04:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。