論文の概要: StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN

• arxiv url: http://arxiv.org/abs/2212.14359v1
• Date: Thu, 29 Dec 2022 16:14:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 16:48:38.556832
• Title: StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN
• Title（参考訳）: StyleRes:StyleGANによるリアルイメージ編集のための残像変換
• Authors: Hamza Pehlivan, Yusuf Dalva, Aysegul Dundar
• Abstract要約: 実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。 画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。 高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 4.7590051176368915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes
• Abstract（参考訳）: 高品質な属性編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。 リアルイメージをスタイルガンの潜在空間に反転させることは広く研究されている問題であるが、画像再構成の忠実さと画像編集品質のトレードオフはいまだに未解決の課題である。 低速度潜伏空間は高忠実度再構成のための表現力に制限がある。 一方、高いレートの遅延空間は編集品質の低下をもたらす。 本研究では,高忠実度逆変換を実現するために,低潜性コードではエンコードできない高潜性符号の残差特徴を学習する。 これにより、再構築時の画像の詳細を保存できる。 高品質な編集を実現するために、潜時符号の操作に適応するための残像の変換法を学ぶ。 フレームワークをトレーニングして、残余の機能を抽出し、新しいアーキテクチャパイプラインとサイクル一貫性の損失を通じて変換します。 広範な実験を行い,その手法を最先端のインバージョン法と比較した。 質的指標と視覚的比較は大幅な改善を示している。 コード:https://github.com/hamzapehlivan/StyleRes

関連論文リスト

• The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing [3.58736715327935]
  本稿では,w-latentとF-latentの両方で編集できる新しい方法であるStyleFeatureEditorを紹介する。 また、Fレイテンシーを正確に編集するためのモデルをトレーニングするために特別に設計された新しいトレーニングパイプラインも提示する。 提案手法は最先端の符号化手法と比較し, モデルが復元品質の点で優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-15T11:28:32Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Warping the Residuals for Image Editing with StyleGAN [5.733811543584874]
  StyleGANモデルは、意味論的に解釈可能な潜在組織を通して編集機能を示す。 StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。 本稿では,高速遅延特徴を抽出し,フロー推定モジュールを含む新しい画像インバージョンアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:24:18Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Diverse Inpainting and Editing with GAN Inversion [4.234367850767171]
  近年の逆転法では、実画像はStyleGANの潜伏空間に逆転可能であることが示されている。 本稿では,より困難な課題に取り組み,消去された画像をGANの潜伏空間に逆転させ,リアルな塗り絵や編集を行う。
  論文  参考訳（メタデータ） (2023-07-27T17:41:36Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)
• Improved StyleGAN Embedding: Where are the Good Latents? [43.780075713984935]
  StyleGANは、実際の画像とほとんど区別できない写実的画像を生成することができる。 与えられた画像の埋め込みを見つけるというリバース問題は、問題となる。 本稿では,画像再構成と画像編集タスクのサポートを兼ね備えた埋め込みを見つけるという課題に対処する。
  論文  参考訳（メタデータ） (2020-12-13T18:01:24Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。