論文の概要: High-fidelity GAN Inversion with Padding Space

• arxiv url: http://arxiv.org/abs/2203.11105v1
• Date: Mon, 21 Mar 2022 16:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 17:24:23.107710
• Title: High-fidelity GAN Inversion with Padding Space
• Title（参考訳）: パディング空間を用いた高忠実GANインバージョン
• Authors: Qingyan Bai, Yinghao Xu, Jiapeng Zhu, Weihao Xia, Yujiu Yang, Yujun Shen
• Abstract要約: GAN(Generative Adversarial Network)の反転は、事前訓練されたジェネレータを用いた幅広い画像編集作業を容易にする。 既存の手法では、通常、反転空間としてGANの潜伏空間を用いるが、空間詳細の回復は不十分である。 本稿では, 潜伏空間を空間情報で補うため, ジェネレータのパディング空間を包含することを提案する。
• 参考スコア（独自算出の注目度）: 38.9258619444968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverting a Generative Adversarial Network (GAN) facilitates a wide range of image editing tasks using pre-trained generators. Existing methods typically employ the latent space of GANs as the inversion space yet observe the insufficient recovery of spatial details. In this work, we propose to involve the padding space of the generator to complement the latent space with spatial information. Concretely, we replace the constant padding (e.g., usually zeros) used in convolution layers with some instance-aware coefficients. In this way, the inductive bias assumed in the pre-trained model can be appropriately adapted to fit each individual image. Through learning a carefully designed encoder, we manage to improve the inversion quality both qualitatively and quantitatively, outperforming existing alternatives. We then demonstrate that such a space extension barely affects the native GAN manifold, hence we can still reuse the prior knowledge learned by GANs for various downstream applications. Beyond the editing tasks explored in prior arts, our approach allows a more flexible image manipulation, such as the separate control of face contour and facial details, and enables a novel editing manner where users can customize their own manipulations highly efficiently.
• Abstract（参考訳）: GAN(Generative Adversarial Network)の反転は、事前訓練されたジェネレータを用いた幅広い画像編集作業を容易にする。 既存の手法では、通常、反転空間としてGANの潜伏空間を用いるが、空間詳細の回復は不十分である。 本研究では,空間情報を用いて潜在空間を補完する発電機のパディング空間について提案する。 具体的には、畳み込み層で使われる定数パディング(通常ゼロ)をいくつかのインスタンス認識係数で置き換える。 このように、事前学習されたモデルに仮定した帰納バイアスは、各画像に適合するように適切に適応することができる。 慎重に設計されたエンコーダを学習することで、定性的かつ定量的にインバージョン品質を向上し、既存の代替品よりも優れています。 すると、そのような空間拡張がネイティブ GAN 多様体にはほとんど影響しないことを示すので、様々な下流アプリケーションに対して GAN が学んだ事前知識を再利用することができる。 先行技術で探索された編集作業以外にも,顔の輪郭と顔の細部を別々に制御するなど,より柔軟な画像操作を可能にし,ユーザが効率的に自分の操作をカスタマイズできる新しい編集方法を実現する。

関連論文リスト

• A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing [4.8201607588546]
  本稿では,StyleGANの潜在空間を再編成するオートエンコーダを提案する。 提案手法は,同一性に関して元の画像に対する忠実さを維持しつつ,競合する手法よりも不整合性が高いことを示す。
  論文  参考訳（メタデータ） (2023-12-13T16:18:45Z)
• SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space [16.040942072859075]
  ある属性の編集方向に従う遺伝子ネットワークは、他の属性と絡み合った変更をもたらす可能性がある。 本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再プロジェクションすることで,SC$2$GANのアンタングル化を実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:42:32Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Spatial Latent Representations in Generative Adversarial Networks for Image Generation [0.0]
  StyleGAN2 に対して空間潜在空間の族を定義する。 我々の空間は画像操作や意味情報のエンコードに有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-25T20:01:11Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Low-Rank Subspaces in GANs [101.48350547067628]
  この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。 LowRankGAN は属性多様体の低次元表現を見つけることができる。 さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
  論文  参考訳（メタデータ） (2021-06-08T16:16:32Z)
• Positional Encoding as Spatial Inductive Bias in GANs [97.6622154941448]
  SinGANは限られた有効な受容器分野にもかかわらず内部パッチ配分の学習の印象的な機能を示します。 本研究では,発電機のパディングゼロ時における暗黙的位置符号化によって,このような能力が大幅にもたらされることを示した。 本稿では,新しいマルチスケール学習戦略を提案し,その効果を最新型無条件発電機stylegan2で実証する。
  論文  参考訳（メタデータ） (2020-12-09T18:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。