論文の概要: High-Fidelity GAN Inversion for Image Attribute Editing

• arxiv url: http://arxiv.org/abs/2109.06590v4
• Date: Fri, 27 Sep 2024 05:44:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:57:56.080666
• Title: High-Fidelity GAN Inversion for Image Attribute Editing
• Title（参考訳）: 画像属性編集のための高忠実GANインバージョン
• Authors: Tengfei Wang, Yong Zhang, Yanbo Fan, Jue Wang, Qifeng Chen,
• Abstract要約: 本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
• 参考スコア（独自算出の注目度）: 61.966946442222735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel high-fidelity generative adversarial network (GAN) inversion framework that enables attribute editing with image-specific details well-preserved (e.g., background, appearance, and illumination). We first analyze the challenges of high-fidelity GAN inversion from the perspective of lossy data compression. With a low bit-rate latent code, previous works have difficulties in preserving high-fidelity details in reconstructed and edited images. Increasing the size of a latent code can improve the accuracy of GAN inversion but at the cost of inferior editability. To improve image fidelity without compromising editability, we propose a distortion consultation approach that employs a distortion map as a reference for high-fidelity reconstruction. In the distortion consultation inversion (DCI), the distortion map is first projected to a high-rate latent map, which then complements the basic low-rate latent code with more details via consultation fusion. To achieve high-fidelity editing, we propose an adaptive distortion alignment (ADA) module with a self-supervised training scheme, which bridges the gap between the edited and inversion images. Extensive experiments in the face and car domains show a clear improvement in both inversion and editing quality.
• Abstract（参考訳）: 本稿では, 画像固有の細部(背景, 外観, 照明など)をよく保存した属性編集が可能な, GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 まず、損失データ圧縮の観点から、高忠実度GAN逆変換の課題を解析する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 遅延コードのサイズを増やすことで、GAN変換の精度が向上するが、編集性は劣る。 編集性を損なうことなく画像の忠実度を向上させるために,歪みマップを高忠実度再構成の基準として用いた歪みコンサルテーション手法を提案する。 歪みコンサルテーションインバージョン (DCI) において、歪みマップは最初、高いレートの潜時写像に投影され、次に、基本的な低レート潜時符号を、より詳細なコンサルテーション融合によって補完する。 高忠実度編集を実現するために,編集画像と反転画像のギャップを埋める自己教師付きトレーニングスキームを用いた適応歪みアライメント(ADA)モジュールを提案する。 顔領域と車領域における大規模な実験は、インバージョンと編集品質の両方において明らかに改善されている。

関連論文リスト

• Warping the Residuals for Image Editing with StyleGAN [5.733811543584874]
  StyleGANモデルは、意味論的に解釈可能な潜在組織を通して編集機能を示す。 StyleGANの潜伏空間に画像を反転させる多くの研究が提案されている。 本稿では,高速遅延特徴を抽出し,フロー推定モジュールを含む新しい画像インバージョンアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:24:18Z)
• Spatial-Contextual Discrepancy Information Compensation for GAN Inversion [67.21442893265973]
  空間的不一致情報補償に基づく新しいGAN-inversion法(SDIC)を提案する。 SDICは、オリジナルの画像と再構成/編集された画像との間の画像詳細のギャップを埋める。 提案手法は,画像インバージョンと編集作業の両方において,高速な推論速度で優れた歪み適応性トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-12-12T08:58:56Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing [20.39792009151017]
  StyleGANは、セマンティックリッチな潜在スタイル空間を操作することで、生成した画像の柔軟で妥当な編集を可能にする。 実際の画像をその潜在空間に投影することは、反転品質と編集性の間に固有のトレードオフに遭遇する。 本稿では,2つの異なるネットワークをそれぞれ編集と再構築に用い,新しい2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-31T04:38:42Z)
• StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN [4.7590051176368915]
  実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。 画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。 高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-29T16:14:09Z)
• Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
  GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。 本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-19T16:10:16Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。