論文の概要: Effective Real Image Editing with Accelerated Iterative Diffusion
Inversion
- arxiv url: http://arxiv.org/abs/2309.04907v1
- Date: Sun, 10 Sep 2023 01:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 15:37:24.247425
- Title: Effective Real Image Editing with Accelerated Iterative Diffusion
Inversion
- Title(参考訳): 反復拡散インバージョンによる効率的な実画像編集
- Authors: Zhihong Pan, Riccardo Gherardi, Xiufeng Xie, Stephen Huang
- Abstract要約: 現代の生成モデルで自然画像を編集し、操作することは依然として困難である。
逆安定性の問題に対処した既存のアプローチは、しばしば計算効率において大きなトレードオフをもたらす。
本稿では,空間および時間的複雑さの最小限のオーバーヘッドで再構成精度を大幅に向上させる,AIDIと呼ばれる高速化反復拡散インバージョン法を提案する。
- 参考スコア(独自算出の注目度): 6.335245465042035
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite all recent progress, it is still challenging to edit and manipulate
natural images with modern generative models. When using Generative Adversarial
Network (GAN), one major hurdle is in the inversion process mapping a real
image to its corresponding noise vector in the latent space, since its
necessary to be able to reconstruct an image to edit its contents. Likewise for
Denoising Diffusion Implicit Models (DDIM), the linearization assumption in
each inversion step makes the whole deterministic inversion process unreliable.
Existing approaches that have tackled the problem of inversion stability often
incur in significant trade-offs in computational efficiency. In this work we
propose an Accelerated Iterative Diffusion Inversion method, dubbed AIDI, that
significantly improves reconstruction accuracy with minimal additional overhead
in space and time complexity. By using a novel blended guidance technique, we
show that effective results can be obtained on a large range of image editing
tasks without large classifier-free guidance in inversion. Furthermore, when
compared with other diffusion inversion based works, our proposed process is
shown to be more robust for fast image editing in the 10 and 20 diffusion
steps' regimes.
- Abstract(参考訳): 最近の進歩にもかかわらず、現代の生成モデルで自然画像の編集と操作は依然として困難である。
GAN(Generative Adversarial Network)を使用する場合、画像の再構成や内容の編集を行う必要があるため、現実の画像を対応するノイズベクトルにマッピングするインバージョンプロセスにおいて大きなハードルとなる。
同様に拡散暗黙モデル(ddim)は、各反転ステップにおける線形化仮定は、決定論的反転過程全体を信頼できない。
反転安定性の問題に取り組む既存のアプローチは、しばしば計算効率に大きなトレードオフをもたらす。
本研究では,AIDIと呼ばれる高速化反復拡散インバージョン手法を提案し,空間および時間のオーバーヘッドを最小限に抑えて再構成精度を大幅に向上させる。
新たな混合指導手法を用いることで,インバージョンにおける大きな分類子なし指導を伴わずに,幅広い画像編集作業において有効な結果が得られることを示す。
さらに,他の拡散反転系作品と比較した場合,提案手法は10および20の拡散ステップの高速画像編集においてより頑健であることが判明した。
関連論文リスト
- Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image
Translation by Prompts Redescription and Beyond [57.14128305383768]
拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。
MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2024-01-06T14:12:16Z) - Tuning-Free Inversion-Enhanced Control for Consistent Image Editing [44.311286151669464]
我々は、チューニング不要なインバージョン強化制御(TIC)と呼ばれる新しいアプローチを提案する。
TICは、インバージョンプロセスとサンプリングプロセスの特徴を相関付け、DDIM再構成の不整合を軽減する。
また、インバージョンと単純なDDIM編集プロセスの両方の内容を組み合わせたマスク誘導型アテンション結合戦略を提案する。
論文 参考訳(メタデータ) (2023-12-22T11:13:22Z) - Fixed-point Inversion for Text-to-image diffusion models [39.66869060771468]
与えられた画像を反転させる現在の技術は遅く、あるいは不正確である。
ここでは、この問題を不動点方程式問題として定式化し、不動点反復を用いて解く。
符号化のプロンプト対応調整を適用することで、その修正方法を示す。
論文 参考訳(メタデータ) (2023-12-19T19:19:19Z) - Iterative Token Evaluation and Refinement for Real-World
Super-Resolution [77.74289677520508]
実世界の画像超解像(RWSR)は、低品質(LQ)画像が複雑で未同定の劣化を起こすため、長年にわたる問題である。
本稿では,RWSRのための反復的トークン評価・リファインメントフレームワークを提案する。
ITERはGAN(Generative Adversarial Networks)よりも訓練が容易であり,連続拡散モデルよりも効率的であることを示す。
論文 参考訳(メタデータ) (2023-12-09T17:07:32Z) - Equivariant plug-and-play image reconstruction [11.777553240222712]
プラグ・アンド・プレイのアルゴリズムは、強力な事前訓練されたデノイザを利用して、逆画像の問題を解決することができる。
復号器上のある種の変換群に等しくなると、アルゴリズムの安定性が向上し、再構成品質が向上することを示す。
複数の画像モダリティとデノナイジングネットワークの実験により、同変プラグ・アンド・プレイ・アルゴリズムは再構成性能と安定性の両方を、同変でないものと比較して改善することを示した。
論文 参考訳(メタデータ) (2023-12-04T12:07:39Z) - EDICT: Exact Diffusion Inversion via Coupled Transformations [13.996171129586731]
拡散過程(反転と呼ばれる)に入力画像を生成する初期ノイズベクトルを見つけることは重要な問題である。
本稿では,アフィン結合層からインスピレーションを得るための逆変換法であるEDICT(Exact Diffusion Inversion)を提案する。
EDICTは、2つの結合ノイズベクトルを維持することにより、実画像とモデル生成画像の数学的に正確な逆変換を可能にする。
論文 参考訳(メタデータ) (2022-11-22T18:02:49Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳(メタデータ) (2022-05-12T18:42:43Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。