論文の概要: Posterior Distillation Sampling
- arxiv url: http://arxiv.org/abs/2311.13831v1
- Date: Thu, 23 Nov 2023 07:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 00:33:59.711560
- Title: Posterior Distillation Sampling
- Title(参考訳): 後部蒸留サンプリング
- Authors: Juil Koo, Chanho Park, Minhyuk Sung
- Abstract要約: PDS(Posterior Distillation Sampling)は拡散モデルに基づくパラメトリック画像編集のための新しい最適化手法である。
PDSはソースとターゲットの潜在値と一致し、多様なパラメータ空間におけるターゲットのサンプリングを可能にする。
- 参考スコア(独自算出の注目度): 16.949529859014405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Posterior Distillation Sampling (PDS), a novel optimization
method for parametric image editing based on diffusion models. Existing
optimization-based methods, which leverage the powerful 2D prior of diffusion
models to handle various parametric images, have mainly focused on generation.
Unlike generation, editing requires a balance between conforming to the target
attribute and preserving the identity of the source content. Recent 2D image
editing methods have achieved this balance by leveraging the stochastic latent
encoded in the generative process of diffusion models. To extend the editing
capabilities of diffusion models shown in pixel space to parameter space, we
reformulate the 2D image editing method into an optimization form named PDS.
PDS matches the stochastic latents of the source and the target, enabling the
sampling of targets in diverse parameter spaces that align with a desired
attribute while maintaining the source's identity. We demonstrate that this
optimization resembles running a generative process with the target attribute,
but aligning this process with the trajectory of the source's generative
process. Extensive editing results in Neural Radiance Fields and Scalable
Vector Graphics representations demonstrate that PDS is capable of sampling
targets to fulfill the aforementioned balance across various parameter spaces.
- Abstract(参考訳): 拡散モデルに基づくパラメトリック画像編集のための新しい最適化手法である PDS (Posterior Distillation Sampling) を導入する。
様々なパラメトリック画像の処理に拡散モデルの強力な2次元前処理を利用する既存の最適化手法は,主に生成に重点を置いている。
生成とは異なり、編集にはターゲット属性への準拠とソースコンテンツのアイデンティティ保持のバランスが必要となる。
近年の2次元画像編集法は,拡散モデルの生成過程に符号化された確率的潜伏を利用してこのバランスを達成している。
画素空間で示される拡散モデルのパラメータ空間への編集能力を拡張するため、2次元画像編集法をPDSという最適化形式に再構成する。
PDSはソースとターゲットの確率的潜在値と一致し、ソースのアイデンティティを維持しながら、望ましい属性と整合する多様なパラメータ空間におけるターゲットのサンプリングを可能にする。
この最適化は、生成プロセスをターゲット属性で実行するのに似ているが、ソースの生成プロセスの軌跡と一致させることを実証する。
Neural Radiance Fields と Scalable Vector Graphics representations の広範囲な編集結果は、PDSが上記パラメータ空間間のバランスを満たすためにターゲットをサンプリングできることを示している。
関連論文リスト
- Source-Free Domain Adaptation with Diffusion-Guided Source Data
Generation [6.649910168731417]
本稿では,Diffusion Models for Source-Free Domain Adaptation (DM-SFDA) の一般化能力を活用した新しい手法を提案する。
提案するDM-SFDA法では,事前訓練したテキスト・画像拡散モデルを用いてソース・ドメイン・イメージを生成する。
次に、既存の教師なし領域適応手法を適用し、生成したソース画像を対象領域データと整合させる。
論文 参考訳(メタデータ) (2024-02-07T14:56:13Z) - Optimized View and Geometry Distillation from Multi-view Diffuser [20.47237377203664]
本研究では,2次元拡散モデルから無条件雑音を利用するUnbiased Score Distillation (USD)を提案する。
本研究では2次元拡散モデルの2段階の特殊化プロセスを開発する。
最後に,改良された多視点画像から直接忠実な形状とテクスチャを復元する。
論文 参考訳(メタデータ) (2023-12-11T08:22:24Z) - Taming Latent Diffusion Models to See in the Dark [65.6004750218506]
LDM-SIDは,提案するテーピングモジュールの集合を凍結した事前学習拡散モデルに挿入し,生成過程を制御することを目的としている。
入力されたRAW画像に2次元離散ウェーブレット変換を適用し、LLIEタスクを低周波コンテンツ生成と高周波ディテールメンテナンスという2つの重要な部分に分割する。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - DragDiffusion: Harnessing Diffusion Models for Interactive Point-based
Image Editing [98.30393804479152]
DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。
大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。
本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2023-06-26T06:04:09Z) - Real-World Image Variation by Aligning Diffusion Inversion Chain [53.772004619296794]
生成した画像と実世界の画像の間にはドメインギャップがあり、これは実世界の画像の高品質なバリエーションを生成する上での課題である。
実世界画像のアライメントによる変化(RIVAL)と呼ばれる新しい推論パイプラインを提案する。
我々のパイプラインは、画像生成プロセスとソース画像の反転チェーンを整列させることにより、画像の変動の生成品質を向上させる。
論文 参考訳(メタデータ) (2023-05-30T04:09:47Z) - Optimal Linear Subspace Search: Learning to Construct Fast and
High-Quality Schedulers for Diffusion Models [18.026820439151404]
現在、拡散モデルの適用を制限する重要な問題は、非常に遅い生成プロセスである。
最適線形部分空間探索(OLSS)と呼ばれる新しい手法を提案する。
OLSSは、非常に少ないステップで高品質な画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-24T03:33:30Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳(メタデータ) (2022-02-01T21:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。