論文の概要: Boomerang: Local sampling on image manifolds using diffusion models
- arxiv url: http://arxiv.org/abs/2210.12100v1
- Date: Fri, 21 Oct 2022 16:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:34:27.639381
- Title: Boomerang: Local sampling on image manifolds using diffusion models
- Title（参考訳）: boomerang:拡散モデルを用いた画像多様体上の局所サンプリング
- Authors: Lorenzo Luzi, Ali Siahkoohi, Paul M Mayer, Josue Casco-Rodriguez,
Richard Baraniuk
- Abstract要約: 拡散モデルは、高次元の潜在空間の低次元学習多様体への写像点と見なすことができる。
本稿では,拡散モデルのダイナミクスを用いた局所画像多様体サンプリング手法であるBoomerangを紹介する。
- 参考スコア（独自算出の注目度）: 1.3999481573773072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models can be viewed as mapping points in a high-dimensional latent
space onto a low-dimensional learned manifold, typically an image manifold. The
intermediate values between the latent space and image manifold can be
interpreted as noisy images which are determined by the noise scheduling scheme
employed during pre-training. We exploit this interpretation to introduce
Boomerang, a local image manifold sampling approach using the dynamics of
diffusion models. We call it Boomerang because we first add noise to an input
image, moving it closer to the latent space, then bring it back to the image
space through diffusion dynamics. We use this method to generate images which
are similar, but nonidentical, to the original input images on the image
manifold. We are able to set how close the generated image is to the original
based on how much noise we add. Additionally, the generated images have a
degree of stochasticity, allowing us to locally sample as many times as we want
without repetition. We show three applications for which Boomerang can be used.
First, we provide a framework for constructing privacy-preserving datasets
having controllable degrees of anonymity. Second, we show how to use Boomerang
for data augmentation while staying on the image manifold. Third, we introduce
a framework for image super-resolution with 8x upsampling. Boomerang does not
require any modification to the training of diffusion models and can be used
with pretrained models on a single, inexpensive GPU.
- Abstract（参考訳）: 拡散モデルは、高次元の潜在空間の低次元学習多様体(典型的には像多様体)への写像点と見なすことができる。
遅延空間と画像多様体の間の中間値は、事前学習時に使用するノイズスケジューリングスキームによって決定されるノイズ画像と解釈できる。
この解釈を用いて,拡散モデルのダイナミクスを用いた局所画像多様体サンプリング手法boomerangを導入する。
これをboomerangと呼ぶのは、まず入力画像にノイズを加え、それを潜在空間に近づけて、拡散ダイナミクスを通じて画像空間に戻すからです。
この手法を用いて、画像多様体上の元の入力画像と類似しているが同一でない画像を生成する。
生成したイメージがオリジナルにどの程度近いかは、ノイズの量に基づいて設定できます。
さらに、生成された画像は確率性の度合いがあり、反復せずに何回も局所的にサンプリングすることができる。
我々はboomerangを使用できる3つの応用例を示す。
まず、匿名性制御が可能なプライバシー保護データセットを構築するためのフレームワークを提供する。
次に,画像多様体上に留まりながら,データ拡張にBoomerangを使用する方法を示す。
第3に,8倍のアップサンプリングによる画像超解像のためのフレームワークを提案する。
Boomerangは拡散モデルのトレーニングを一切必要とせず、単一の安価なGPU上で事前訓練されたモデルで使用することができる。
関連論文リスト
- Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。
本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
論文 参考訳（メタデータ） (2024-11-17T17:45:37Z) - Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
本稿では,Merge-Attend-Diffuse演算子を提案する。
具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。
提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
論文 参考訳（メタデータ） (2024-08-28T09:22:32Z) - Immiscible Diffusion: Accelerating Diffusion Training with Noise Assignment [56.609042046176555]
準最適雑音データマッピングは拡散モデルの遅い訓練につながる。
物理学における不和性現象からインスピレーションを得て,不和性拡散を提案する。
我々のアプローチは極めて単純で、各画像の拡散可能な領域を制限するために1行のコードしか必要としない。
論文 参考訳（メタデータ） (2024-06-18T06:20:42Z) - Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。
提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。
画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
論文 参考訳（メタデータ） (2024-05-29T23:38:12Z) - Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise [34.65659277870287]
微分拡散モデルの研究は、画像復元の分野への応用を拡大した。
本稿では,残余項を拡散前進過程に組み込むフレームワークであるResfusionを提案する。
Resfusionは, ISTDデータセット, LOLデータセット, Raindropデータセットに対して, わずか5つのサンプリングステップで競合性能を示すことを示す。
論文 参考訳（メタデータ） (2023-11-25T02:09:38Z) - Diffusion with Forward Models: Solving Stochastic Inverse Problems
Without Direct Supervision [76.32860119056964]
本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。
コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2023-06-20T17:53:00Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳（メタデータ） (2023-05-07T23:00:47Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳（メタデータ） (2023-03-16T13:15:03Z) - Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later [1.8416014644193066]
画像生成の基盤となる逆拡散過程には,以下の特性がある。
個々の軌道は低次元であり、2次元回転に似ている」。
本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
論文 参考訳（メタデータ） (2023-03-04T20:08:57Z) - Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image
Synthesis [39.671396431940224]
拡散モデルは、徐々にノイズを取り除き、増幅信号を増幅することにより、画像合成において顕著な結果を示した。
本稿では,画像の粗大な合成方法を提案する。
実験の結果,提案手法はLSUNの寝室や教会のデータセットにおいて,従来のFID法よりも優れていた。
論文 参考訳（メタデータ） (2022-07-16T15:00:21Z) - Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial
Auto-Encoders [137.1060633388405]
拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。
我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。
提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
論文 参考訳（メタデータ） (2022-02-19T20:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。