論文の概要: Boomerang: Local sampling on image manifolds using diffusion models

• arxiv url: http://arxiv.org/abs/2210.12100v2
• Date: Wed, 17 Apr 2024 21:16:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 21:00:27.874130
• Title: Boomerang: Local sampling on image manifolds using diffusion models
• Title（参考訳）: Boomerang:拡散モデルを用いた画像多様体の局所サンプリング
• Authors: Lorenzo Luzi, Paul M Mayer, Josue Casco-Rodriguez, Ali Siahkoohi, Richard G. Baraniuk,
• Abstract要約: 本稿では,画像多様体の局所サンプリング手法であるBoomerangを提案する。 生成された画像はある程度の知覚性を示し、多様体から局所的なサンプルを得ることができる。 本稿では,データ拡張にBoomerangを用いることにより,データ拡張の性能が向上し,合成データ拡張に優れることを示す。
• 参考スコア（独自算出の注目度）: 21.54901447135763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The inference stage of diffusion models can be seen as running a reverse-time diffusion stochastic differential equation, where samples from a Gaussian latent distribution are transformed into samples from a target distribution that usually reside on a low-dimensional manifold, e.g., an image manifold. The intermediate values between the initial latent space and the image manifold can be interpreted as noisy images, with the amount of noise determined by the forward diffusion process noise schedule. We utilize this interpretation to present Boomerang, an approach for local sampling of image manifolds. As implied by its name, Boomerang local sampling involves adding noise to an input image, moving it closer to the latent space, and then mapping it back to the image manifold through a partial reverse diffusion process. Thus, Boomerang generates images on the manifold that are ``similar,'' but nonidentical, to the original input image. We can control the proximity of the generated images to the original by adjusting the amount of noise added. Furthermore, due to the stochastic nature of the reverse diffusion process in Boomerang, the generated images display a certain degree of stochasticity, allowing us to obtain local samples from the manifold without encountering any duplicates. Boomerang offers the flexibility to work seamlessly with any pretrained diffusion model, such as Stable Diffusion, without necessitating any adjustments to the reverse diffusion process. We present three applications for Boomerang. First, we provide a framework for constructing privacy-preserving datasets having controllable degrees of anonymity. Second, we show that using Boomerang for data augmentation increases generalization performance and outperforms state-of-the-art synthetic data augmentation. Lastly, we introduce a perceptual image enhancement framework, which enables resolution enhancement.
• Abstract（参考訳）: 拡散モデルの推論段階は、逆時間拡散確率微分方程式(英語版)(reverse-time diffusion stochastic differential equation)として見ることができ、ガウスの潜在分布からのサンプルは、通常、低次元多様体、eg、画像多様体(英語版)に存在する対象分布からサンプルに変換される。 初期潜時空間と画像多様体の間の中間値は、前方拡散処理ノイズスケジュールによって決定されるノイズの量でノイズ画像と解釈できる。 この解釈を利用して、像多様体の局所サンプリング手法であるBoomerangを提示する。 その名の通り、ブーメラン局所サンプリングは入力画像にノイズを加え、潜伏空間に近づき、部分的な逆拡散過程を通じて像多様体にマッピングする。 このように、ブーメランは'similar,'' である多様体上の像を生成するが、元の入力画像とは同一ではない。 付加する雑音量を調整することにより、生成した画像と原画像との近接を制御できる。 さらに, ブーメランの逆拡散過程の確率的性質から, 生成した画像はある程度の確率性を示し, 重複に遭遇することなく, 多様体から局所的なサンプルを得ることができた。 ブーメランは、逆拡散過程の調整を必要とせず、安定拡散のような事前訓練された拡散モデルとシームレスに働く柔軟性を提供する。 ブーメランには3つの応用法を提案する。 まず、制御可能な匿名度を有するプライバシー保護データセットを構築するためのフレームワークを提供する。 第2に,Boomerangをデータ拡張に使用すると,一般化性能が向上し,最先端の合成データ拡張よりも優れることを示す。 最後に,解像度向上を実現する知覚画像強調フレームワークを提案する。

関連論文リスト

• Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
  実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。 本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
  論文  参考訳（メタデータ） (2024-11-17T17:45:37Z)
• Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
  本稿では,Merge-Attend-Diffuse演算子を提案する。 具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。 提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
  論文  参考訳（メタデータ） (2024-08-28T09:22:32Z)
• Immiscible Diffusion: Accelerating Diffusion Training with Noise Assignment [56.609042046176555]
  準最適雑音データマッピングは拡散モデルの遅い訓練につながる。 物理学における不和性現象からインスピレーションを得て,不和性拡散を提案する。 我々のアプローチは極めて単純で、各画像の拡散可能な領域を制限するために1行のコードしか必要としない。
  論文  参考訳（メタデータ） (2024-06-18T06:20:42Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise [34.65659277870287]
  微分拡散モデルの研究は、画像復元の分野への応用を拡大した。 本稿では,残余項を拡散前進過程に組み込むフレームワークであるResfusionを提案する。 Resfusionは, ISTDデータセット, LOLデータセット, Raindropデータセットに対して, わずか5つのサンプリングステップで競合性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-11-25T02:09:38Z)
• Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision [76.32860119056964]
  本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。 コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-20T17:53:00Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• DIRE for Diffusion-Generated Image Detection [128.95822613047298]
  拡散再構成誤り(DIRE)という新しい表現を提案する。 DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。 DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
  論文  参考訳（メタデータ） (2023-03-16T13:15:03Z)
• Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later [1.8416014644193066]
  画像生成の基盤となる逆拡散過程には,以下の特性がある。 個々の軌道は低次元であり、2次元回転に似ている」。 本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
  論文  参考訳（メタデータ） (2023-03-04T20:08:57Z)
• Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis [39.671396431940224]
  拡散モデルは、徐々にノイズを取り除き、増幅信号を増幅することにより、画像合成において顕著な結果を示した。 本稿では,画像の粗大な合成方法を提案する。 実験の結果,提案手法はLSUNの寝室や教会のデータセットにおいて,従来のFID法よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-16T15:00:21Z)
• Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial Auto-Encoders [137.1060633388405]
  拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。 我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。 提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-19T20:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。