論文の概要: Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion
and Image Attribute Editing
- arxiv url: http://arxiv.org/abs/2402.14398v1
- Date: Thu, 22 Feb 2024 09:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 15:40:47.805745
- Title: Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion
and Image Attribute Editing
- Title（参考訳）: Gradual Residuals Alignment: GANインバージョンと画像属性編集のためのデュアルストリームフレームワーク
- Authors: Hao Li, Mengqi Huang, Lei Zhang, Bo Hu, Yi Liu, Zhendong Mao
- Abstract要約: GANベースの画像編集は、まずGAN Inversionを利用して、実際の画像をGANの潜時空間に投影し、対応する潜時符号を操作する。
近年のインバージョン法は, 画像の保存性を高めるために, 新たな高ビット特徴を主に利用している。
編集中、既存の作業は失われた詳細を正確に補完することができず、編集性に欠ける。
- 参考スコア（独自算出の注目度）: 36.01737879983636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GAN-based image attribute editing firstly leverages GAN Inversion to project
real images into the latent space of GAN and then manipulates corresponding
latent codes. Recent inversion methods mainly utilize additional high-bit
features to improve image details preservation, as low-bit codes cannot
faithfully reconstruct source images, leading to the loss of details. However,
during editing, existing works fail to accurately complement the lost details
and suffer from poor editability. The main reason is they inject all the lost
details indiscriminately at one time, which inherently induces the position and
quantity of details to overfit source images, resulting in inconsistent content
and artifacts in edited images. This work argues that details should be
gradually injected into both the reconstruction and editing process in a
multi-stage coarse-to-fine manner for better detail preservation and high
editability. Therefore, a novel dual-stream framework is proposed to accurately
complement details at each stage. The Reconstruction Stream is employed to
embed coarse-to-fine lost details into residual features and then adaptively
add them to the GAN generator. In the Editing Stream, residual features are
accurately aligned by our Selective Attention mechanism and then injected into
the editing process in a multi-stage manner. Extensive experiments have shown
the superiority of our framework in both reconstruction accuracy and editing
quality compared with existing methods.
- Abstract（参考訳）: GANベースの画像属性編集は、まずGAN Inversionを利用して、実際の画像をGANの潜在空間に投影し、対応する潜在コードを操作する。
近年のインバージョン方式では,低ビット符号では画像の忠実な再構成ができないため,画像の保存性が向上し,細部が失われている。
しかし、編集中に失われた詳細を正確に補うことができず、編集性が悪い。
主な理由は、失われたすべての詳細を一度に無差別に注入することで、本質的にソース画像に収まる詳細の位置と量を誘導し、結果として編集された画像に一貫性のない内容やアーティファクトが生じるからである。
この研究は、より詳細な保存と高い編集性のために、詳細を多段階の粗大な方法で再現と編集の両方に徐々に注入すべきであると主張している。
そこで,各ステージの詳細を正確に補うために,新しいデュアルストリームフレームワークを提案する。
レコンストラクションストリームは、紛失した詳細を残像に埋め込んで、GANジェネレータに適応的に追加するために使用される。
編集ストリームでは、残余機能はSelective Attentionメカニズムによって正確に整列され、多段階的な編集プロセスに注入されます。
広範な実験により,既存の手法と比較して,復元精度と編集品質の両方において,フレームワークの優位性が示された。
関連論文リスト
- The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing [3.58736715327935]
本稿では,w-latentとF-latentの両方で編集できる新しい方法であるStyleFeatureEditorを紹介する。
また、Fレイテンシーを正確に編集するためのモデルをトレーニングするために特別に設計された新しいトレーニングパイプラインも提示する。
提案手法は最先端の符号化手法と比較し, モデルが復元品質の点で優れていることを示す。
論文 参考訳（メタデータ） (2024-06-15T11:28:32Z) - Warping the Residuals for Image Editing with StyleGAN [5.733811543584874]
StyleGANモデルは、意味論的に解釈可能な潜在組織を通して編集機能を示す。
StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。
本稿では,高速遅延特徴を抽出し,フロー推定モジュールを含む新しい画像インバージョンアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-18T18:24:18Z) - Spatial-Contextual Discrepancy Information Compensation for GAN
Inversion [67.21442893265973]
空間的不一致情報補償に基づく新しいGAN-inversion法(SDIC)を提案する。
SDICは、オリジナルの画像と再構成/編集された画像との間の画像詳細のギャップを埋める。
提案手法は,画像インバージョンと編集作業の両方において,高速な推論速度で優れた歪み適応性トレードオフを実現する。
論文 参考訳（メタデータ） (2023-12-12T08:58:56Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - StyleRes: Transforming the Residuals for Real Image Editing with
StyleGAN [4.7590051176368915]
実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。
画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。
高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-29T16:14:09Z) - Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。
生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。
また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
論文 参考訳（メタデータ） (2022-07-17T10:34:58Z) - High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。
低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。
高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
論文 参考訳（メタデータ） (2021-09-14T11:23:48Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳（メタデータ） (2020-03-31T18:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。