論文の概要: Warping the Residuals for Image Editing with StyleGAN
- arxiv url: http://arxiv.org/abs/2312.11422v1
- Date: Mon, 18 Dec 2023 18:24:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:53:48.779647
- Title: Warping the Residuals for Image Editing with StyleGAN
- Title(参考訳): StyleGANによる画像編集のための残像のウォーキング
- Authors: Ahmet Burak Yildirim, Hamza Pehlivan, Aysegul Dundar
- Abstract要約: StyleGANモデルは、意味論的に解釈可能な潜在組織を通して編集機能を示す。
StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。
本稿では,高速遅延特徴を抽出し,フロー推定モジュールを含む新しい画像インバージョンアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 5.733811543584874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: StyleGAN models show editing capabilities via their semantically
interpretable latent organizations which require successful GAN inversion
methods to edit real images. Many works have been proposed for inverting images
into StyleGAN's latent space. However, their results either suffer from low
fidelity to the input image or poor editing qualities, especially for edits
that require large transformations. That is because low-rate latent spaces lose
many image details due to the information bottleneck even though it provides an
editable space. On the other hand, higher-rate latent spaces can pass all the
image details to StyleGAN for perfect reconstruction of images but suffer from
low editing qualities. In this work, we present a novel image inversion
architecture that extracts high-rate latent features and includes a flow
estimation module to warp these features to adapt them to edits. The flows are
estimated from StyleGAN features of edited and unedited latent codes. By
estimating the high-rate features and warping them for edits, we achieve both
high-fidelity to the input image and high-quality edits. We run extensive
experiments and compare our method with state-of-the-art inversion methods.
Qualitative metrics and visual comparisons show significant improvements.
- Abstract(参考訳): StyleGANモデルは、実際の画像の編集にGANインバージョンメソッドを成功させる必要のある、意味論的に解釈可能な潜在組織を介して編集機能を示す。
StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。
しかし、これらの結果は入力画像への忠実度が低いか、編集品質が低いか、特に大きな変換を必要とする編集に悩まされる。
これは、編集可能な空間を提供するにもかかわらず、情報ボトルネックのため、低レートの遅延空間が多くの画像の詳細を失うためである。
一方、高速度の潜在空間は、画像の完全な再構成のためにすべての画像詳細をstyleganに渡すことができるが、編集品質は低い。
本稿では,高速度潜伏特徴を抽出し,これらの特徴を編集に適応させるために警告するフロー推定モジュールを含む,新しい画像インバージョンアーキテクチャを提案する。
フローは、編集および未編集の潜伏符号のスタイルGAN特徴から推定される。
高いレートの機能を推定し、編集のために警告することで、入力画像に対する忠実度と高品質の編集を両立させる。
広範な実験を行い,その手法を最先端のインバージョン法と比較した。
質的指標と視覚的比較は大幅な改善を示している。
関連論文リスト
- The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing [3.58736715327935]
本稿では,w-latentとF-latentの両方で編集できる新しい方法であるStyleFeatureEditorを紹介する。
また、Fレイテンシーを正確に編集するためのモデルをトレーニングするために特別に設計された新しいトレーニングパイプラインも提示する。
提案手法は最先端の符号化手法と比較し, モデルが復元品質の点で優れていることを示す。
論文 参考訳(メタデータ) (2024-06-15T11:28:32Z) - Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion
and Image Attribute Editing [36.01737879983636]
GANベースの画像編集は、まずGAN Inversionを利用して、実際の画像をGANの潜時空間に投影し、対応する潜時符号を操作する。
近年のインバージョン法は, 画像の保存性を高めるために, 新たな高ビット特徴を主に利用している。
編集中、既存の作業は失われた詳細を正確に補完することができず、編集性に欠ける。
論文 参考訳(メタデータ) (2024-02-22T09:28:47Z) - Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。
編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。
最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
論文 参考訳(メタデータ) (2023-12-17T21:49:59Z) - Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。
各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。
本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
論文 参考訳(メタデータ) (2023-11-28T15:31:11Z) - Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。
本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
論文 参考訳(メタデータ) (2023-07-27T17:41:36Z) - LEDITS: Real Image Editing with DDPM Inversion and Semantic Guidance [0.0]
LEDITSはリアルタイム編集のための軽量なアプローチであり、Edit Friendly DDPMインバージョン技術とSemantic Guidanceを統合している。
このアプローチは、微妙で広範囲な編集や構成やスタイルの変更といった多彩な編集を実現すると同時に、アーキテクチャの最適化や拡張も必要としない。
論文 参考訳(メタデータ) (2023-07-02T09:11:09Z) - StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。
彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。
選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
論文 参考訳(メタデータ) (2023-03-28T00:16:45Z) - StyleRes: Transforming the Residuals for Real Image Editing with
StyleGAN [4.7590051176368915]
実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。
画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。
高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-12-29T16:14:09Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳(メタデータ) (2022-05-12T18:42:43Z) - SpaceEdit: Learning a Unified Editing Space for Open-Domain Image
Editing [94.31103255204933]
オープンドメイン画像の色やトーン調整に着目したオープンドメイン画像編集のための統一モデルを提案する。
我々のモデルは、よりセマンティックで直感的で操作が容易な統合編集空間を学習する。
画像ペアを学習した編集空間の潜在コードに変換することで、下流編集タスクに我々のモデルを活用できることが示される。
論文 参考訳(メタデータ) (2021-11-30T23:53:32Z) - EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。
EditGANは前例のない細部と自由度で画像を操作可能であることを示す。
また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
論文 参考訳(メタデータ) (2021-11-04T22:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。