論文の概要: The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing

• arxiv url: http://arxiv.org/abs/2311.01410v1
• Date: Thu, 2 Nov 2023 17:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:37:29.060152
• Title: The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing
• Title（参考訳）: ランダム性の祝福:一般拡散画像編集におけるSDE BeatsODE
• Authors: Shen Nie, Hanzhong Allan Guo, Cheng Lu, Yuhao Zhou, Chenyu Zheng, Chongxuan Li
• Abstract要約: 拡散に基づく画像編集のための統一的な確率的定式化を行い,タスク固有の方法で潜在変数を編集する。 画像から画像への変換を含む様々なタスクにおいて、広く使われているODEベースラインに対して、SDE対応を提供する。 SDE-Drag - ポイントベースのコンテンツドラッグのためのSDE定式化の上に構築されたシンプルで効果的な手法。
• 参考スコア（独自算出の注目度）: 24.76844856196734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a unified probabilistic formulation for diffusion-based image editing, where a latent variable is edited in a task-specific manner and generally deviates from the corresponding marginal distribution induced by the original stochastic or ordinary differential equation (SDE or ODE). Instead, it defines a corresponding SDE or ODE for editing. In the formulation, we prove that the Kullback-Leibler divergence between the marginal distributions of the two SDEs gradually decreases while that for the ODEs remains as the time approaches zero, which shows the promise of SDE in image editing. Inspired by it, we provide the SDE counterparts for widely used ODE baselines in various tasks including inpainting and image-to-image translation, where SDE shows a consistent and substantial improvement. Moreover, we propose SDE-Drag -- a simple yet effective method built upon the SDE formulation for point-based content dragging. We build a challenging benchmark (termed DragBench) with open-set natural, art, and AI-generated images for evaluation. A user study on DragBench indicates that SDE-Drag significantly outperforms our ODE baseline, existing diffusion-based methods, and the renowned DragGAN. Our results demonstrate the superiority and versatility of SDE in image editing and push the boundary of diffusion-based editing methods.
• Abstract（参考訳）: 本稿では,潜在変数をタスク固有の方法で編集し,元の確率的あるいは常微分方程式(sde,ode)によって引き起こされる対応する限界分布から一般に逸脱する拡散ベース画像編集のための統一確率的定式化を提案する。 代わりに、編集用の対応するSDEまたはODEを定義する。 定式化では、2つのSDEの辺分布間のクルバック・リーブラーのばらつきが徐々に減少し、ODEは時間がゼロに近づき、画像編集におけるSDEの約束を示す。 これに触発された私たちは、SDEが一貫した、そして実質的な改善を示す画像から画像への変換を含む様々なタスクにおいて、広く使われているODEベースラインに対して、SDE対応を提供する。 さらに,ポイントベースのコンテンツドラッグングのためのSDE定式化に基づく,シンプルで効果的なSDE-Dragを提案する。 我々は、オープンセットの自然、芸術、AI生成画像による評価のための挑戦的なベンチマーク(DragBenchと呼ばれる)を構築します。 DragBenchのユーザスタディによると、SDE-Dragは私たちのODEベースライン、既存の拡散ベースのメソッド、そして有名なDragGANを大きく上回っている。 その結果、画像編集におけるSDEの優位性と汎用性を示し、拡散ベースの編集手法の境界を押し進めた。

関連論文リスト

• CODE: Confident Ordinary Differential Editing [62.83365660727034]
  CODE(Confident Ordinary Differential Editing)は、OoD(Out-of-Distribution)ガイダンスイメージを効果的に処理する画像合成のための新しいアプローチである。 CODEは、確率フロー正規微分方程式(ODE)軌道に沿ったスコアベースの更新によって画像を強化する。 本手法は完全に盲目的に動作し,事前学習した生成モデルにのみ依存する。
  論文  参考訳（メタデータ） (2024-08-22T14:12:20Z)
• Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers [55.0876373185983]
  広範にPDEを解くことができるUniversal PDEソルバ(Unisolver)を提案する。 私たちの重要な発見は、PDEソリューションが基本的に一連のPDEコンポーネントの制御下にあることです。 Unisolverは3つの挑戦的な大規模ベンチマークにおいて、一貫した最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
  潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。 提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
  論文  参考訳（メタデータ） (2023-11-30T15:06:10Z)
• Closing the ODE-SDE gap in score-based diffusion models through the Fokker-Planck equation [0.562479170374811]
  スコアベース拡散モデルのトレーニング時に生じる力学と近似の範囲を厳密に記述する。 従来のスコアベース拡散モデルでは, ODE-とSDE-誘導分布に有意な差が認められることを示す。
  論文  参考訳（メタデータ） (2023-11-27T16:44:50Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Elucidating the solution space of extended reverse-time SDE for diffusion models [54.23536653351234]
  拡散モデル(DM)は、様々な生成的モデリングタスクにおいて強力な画像生成能力を示す。 その主な制限はサンプリング速度の遅いことであり、高品質な画像を生成するには数百から数千のシーケンシャルな機能評価が必要である。 サンプリングプロセスを拡張逆時間SDEとして定式化し、ODEやSDEへの事前探索を統一する。 我々は, 高速かつトレーニング不要なサンプル装置ER-SDE-rsを考案し, 全サンプル装置の最先端性能を実現した。
  論文  参考訳（メタデータ） (2023-09-12T12:27:17Z)
• Image Restoration with Mean-Reverting Stochastic Differential Equations [9.245782611878752]
  本稿では,汎用画像復元のための微分方程式(SDE)を提案する。 対応する逆時間SDEをシミュレートすることにより、低画質画像の起源を復元することができる。 実験の結果,提案手法は画像の劣化, 劣化, 騒音の定量的比較において, 高い競争性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-01-27T13:20:48Z)
• SDEdit: Image Synthesis and Editing with Stochastic Differential Equations [113.35735935347465]
  微分方程式を用いた最近の生成モデルに基づく微分編集(SDEdit)を導入する。 ユーザが編集した入力画像が与えられたら、まずSDEに従って入力にノイズを付加し、その後、逆SDEをシミュレートして、その確率を前より徐々に増加させます。 GANインバージョンに基づく最近の画像編集手法において重要な要素であるタスク固有損失関数の設計は不要である。
  論文  参考訳（メタデータ） (2021-08-02T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。