論文の概要: Overparameterization Improves StyleGAN Inversion

• arxiv url: http://arxiv.org/abs/2205.06304v1
• Date: Thu, 12 May 2022 18:42:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 02:37:16.963213
• Title: Overparameterization Improves StyleGAN Inversion
• Title（参考訳）: オーバーパラメータ化によるスタイルGANインバージョンの改善
• Authors: Yohan Poirier-Ginter, Alexandre Lessard, Ryan Smith, Jean-Fran\c{c}ois Lalonde
• Abstract要約: 既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
• 参考スコア（独自算出の注目度）: 66.8300251627992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep generative models like StyleGAN hold the promise of semantic image editing: modifying images by their content, rather than their pixel values. Unfortunately, working with arbitrary images requires inverting the StyleGAN generator, which has remained challenging so far. Existing inversion approaches obtain promising yet imperfect results, having to trade-off between reconstruction quality and downstream editability. To improve quality, these approaches must resort to various techniques that extend the model latent space after training. Taking a step back, we observe that these methods essentially all propose, in one way or another, to increase the number of free parameters. This suggests that inversion might be difficult because it is underconstrained. In this work, we address this directly and dramatically overparameterize the latent space, before training, with simple changes to the original StyleGAN architecture. Our overparameterization increases the available degrees of freedom, which in turn facilitates inversion. We show that this allows us to obtain near-perfect image reconstruction without the need for encoders nor for altering the latent space after training. Our approach also retains editability, which we demonstrate by realistically interpolating between images.
• Abstract（参考訳）: styleganのような深層生成モデルは、ピクセルの値ではなく、コンテンツによって画像を変更するというセマンティックな画像編集を約束している。 残念なことに、任意のイメージを扱うにはStyleGANジェネレータを反転する必要がある。 既存のインバージョンアプローチは、復元品質と下流編集性の間のトレードオフを伴って、有望だが不完全な結果が得られる。 品質を改善するために、これらのアプローチはトレーニング後のモデルの潜在空間を拡張する様々な技術に頼らなければならない。 一歩後退すると、これらの手法が本質的には、自由パラメータの数を増やすために、いずれかの方法で提案されることが分かる。 これは、逆転は制約が過小評価されているため困難であることを示している。 本研究では,従来のStyleGANアーキテクチャに簡単な変更を加えて,学習前の潜在空間を直接的かつ劇的に過度にパラメータ化する。 過パラメータ化は利用可能な自由度を高め、結果的に逆転を促進する。 これにより、エンコーダやトレーニング後の潜在空間の変更を必要とせずに、ほぼ完全な画像再構成が可能となる。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。

関連論文リスト

• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Robust GAN inversion [5.1359892878090845]
  本稿では,ネイティブの潜伏空間を$W$で処理し,画像の詳細を復元するためにジェネレータネットワークをチューニングする手法を提案する。 Flickr-Faces-HQ と LSUN Church の2つの複雑なデータセットに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-08-31T07:47:11Z)
• Robust Unsupervised StyleGAN Image Restoration [5.33024001730262]
  GANベースの画像復元は、既知の劣化によって破損した画像を修復する生成過程を反転させる。 StyleGANイメージの復元を堅牢にし、広範囲の劣化レベルで動作します。 提案手法は3相進行潜在空間拡張と保守的ロバスト性に依存している。
  論文  参考訳（メタデータ） (2023-02-13T22:45:54Z)
• StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN [4.7590051176368915]
  実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。 画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。 高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-29T16:14:09Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• HyperStyle: StyleGAN Inversion with HyperNetworks for Real Image Editing [2.362412515574206]
  HyperStyleは、StyleGANの重みを変調して、潜在空間の編集可能な領域で所定の画像を忠実に表現することを学ぶ。 HyperStyleは、エンコーダのほぼリアルタイム推論機能を備えた最適化手法に匹敵する再構成を行う。
  論文  参考訳（メタデータ） (2021-11-30T18:56:30Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Designing an Encoder for StyleGAN Image Manipulation [38.909059126878354]
  最先端の無条件発電機であるStyleGANの潜伏空間について検討する。 そこで我々は,StyleGAN潜在空間における歪み依存性トレードオフと歪み知覚トレードオフの存在を同定し,解析する。 本稿では,実画像の編集を容易にするための2つの原理に基づくエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-02-04T17:52:38Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。