論文の概要: Posterior Distillation Sampling
- arxiv url: http://arxiv.org/abs/2311.13831v3
- Date: Mon, 1 Apr 2024 01:18:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 12:13:26.533242
- Title: Posterior Distillation Sampling
- Title(参考訳): 後部蒸留サンプリング
- Authors: Juil Koo, Chanho Park, Minhyuk Sung,
- Abstract要約: PDS(Posterior Distillation Sampling)は拡散モデルに基づくパラメトリック画像編集のための新しい最適化手法である。
PDSはソースとターゲットの潜在値と一致し、多様なパラメータ空間におけるターゲットのサンプリングを可能にする。
- 参考スコア(独自算出の注目度): 15.080997508207526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Posterior Distillation Sampling (PDS), a novel optimization method for parametric image editing based on diffusion models. Existing optimization-based methods, which leverage the powerful 2D prior of diffusion models to handle various parametric images, have mainly focused on generation. Unlike generation, editing requires a balance between conforming to the target attribute and preserving the identity of the source content. Recent 2D image editing methods have achieved this balance by leveraging the stochastic latent encoded in the generative process of diffusion models. To extend the editing capabilities of diffusion models shown in pixel space to parameter space, we reformulate the 2D image editing method into an optimization form named PDS. PDS matches the stochastic latents of the source and the target, enabling the sampling of targets in diverse parameter spaces that align with a desired attribute while maintaining the source's identity. We demonstrate that this optimization resembles running a generative process with the target attribute, but aligning this process with the trajectory of the source's generative process. Extensive editing results in Neural Radiance Fields and Scalable Vector Graphics representations demonstrate that PDS is capable of sampling targets to fulfill the aforementioned balance across various parameter spaces.
- Abstract(参考訳): 本稿では,拡散モデルに基づくパラメトリック画像編集のための新しい最適化手法であるPosterior Distillation Sampling (PDS)を紹介する。
様々なパラメトリック画像の処理に拡散モデルの強力な2次元前処理を利用する既存の最適化手法は,主に生成に重点を置いている。
生成とは異なり、編集にはターゲット属性への準拠とソースコンテンツのアイデンティティの保存のバランスが必要である。
近年の2次元画像編集法は,拡散モデルの生成過程に符号化された確率的潜伏を利用して,このバランスを達成している。
画素空間で示される拡散モデルのパラメータ空間への編集能力を拡張するため、2次元画像編集法をPDSという最適化形式に再構成する。
PDSはソースとターゲットの確率的潜在値と一致し、ソースのアイデンティティを維持しながら、望ましい属性と整合する多様なパラメータ空間におけるターゲットのサンプリングを可能にする。
この最適化は, 生成過程と対象属性との類似性を示すが, 生成過程の軌跡との整合性を示す。
Neural Radiance Fields と Scalable Vector Graphics representations の広範囲な編集結果は、PDS が上記のパラメータ空間間のバランスを満たすためにターゲットをサンプリングできることを示している。
関連論文リスト
- Source-Free Domain Adaptation with Diffusion-Guided Source Data
Generation [6.649910168731417]
本稿では,Diffusion Models for Source-Free Domain Adaptation (DM-SFDA) の一般化能力を活用した新しい手法を提案する。
提案するDM-SFDA法では,事前訓練したテキスト・画像拡散モデルを用いてソース・ドメイン・イメージを生成する。
次に、既存の教師なし領域適応手法を適用し、生成したソース画像を対象領域データと整合させる。
論文 参考訳(メタデータ) (2024-02-07T14:56:13Z) - Optimized View and Geometry Distillation from Multi-view Diffuser [20.47237377203664]
本研究では,2次元拡散モデルから無条件雑音を利用するUnbiased Score Distillation (USD)を提案する。
本研究では2次元拡散モデルの2段階の特殊化プロセスを開発する。
最後に,改良された多視点画像から直接忠実な形状とテクスチャを復元する。
論文 参考訳(メタデータ) (2023-12-11T08:22:24Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired
Image-to-Image Translation [96.11061713135385]
本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。
我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。
SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
論文 参考訳(メタデータ) (2023-08-04T06:21:57Z) - DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。
大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。
本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2023-06-26T06:04:09Z) - Real-World Image Variation by Aligning Diffusion Inversion Chain [53.772004619296794]
生成した画像と実世界の画像の間にはドメインギャップがあり、これは実世界の画像の高品質なバリエーションを生成する上での課題である。
実世界画像のアライメントによる変化(RIVAL)と呼ばれる新しい推論パイプラインを提案する。
我々のパイプラインは、画像生成プロセスとソース画像の反転チェーンを整列させることにより、画像の変動の生成品質を向上させる。
論文 参考訳(メタデータ) (2023-05-30T04:09:47Z) - Optimal Linear Subspace Search: Learning to Construct Fast and
High-Quality Schedulers for Diffusion Models [18.026820439151404]
現在、拡散モデルの適用を制限する重要な問題は、非常に遅い生成プロセスである。
最適線形部分空間探索(OLSS)と呼ばれる新しい手法を提案する。
OLSSは、非常に少ないステップで高品質な画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-24T03:33:30Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳(メタデータ) (2022-02-01T21:21:56Z) - NeurInt : Learning to Interpolate through Neural ODEs [18.104328632453676]
本稿では,2つの画像間の軌跡分布を学習する新しい生成モデルを提案する。
提案手法の有効性を示すとともに,画像の品質向上と,実画像と対象画像の任意のペアに対して,スムーズな軌道上の多様な分布を学習する能力を示す。
論文 参考訳(メタデータ) (2021-11-07T16:31:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。