論文の概要: Navigating the GAN Parameter Space for Semantic Image Editing

• arxiv url: http://arxiv.org/abs/2011.13786v3
• Date: Wed, 21 Apr 2021 12:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:45:58.490562
• Title: Navigating the GAN Parameter Space for Semantic Image Editing
• Title（参考訳）: 意味的画像編集のためのGANパラメータ空間のナビゲーション
• Authors: Anton Cherepkov, Andrey Voynov, Artem Babenko
• Abstract要約: Generative Adversarial Networks (GAN) はビジュアル編集に必須のツールである。 本稿では,StyleGAN2のような最先端のモデルで実現可能な視覚効果の範囲を大きく広げる。
• 参考スコア（独自算出の注目度）: 35.622710993417456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) are currently an indispensable tool for visual editing, being a standard component of image-to-image translation and image restoration pipelines. Furthermore, GANs are especially useful for controllable generation since their latent spaces contain a wide range of interpretable directions, well suited for semantic editing operations. By gradually changing latent codes along these directions, one can produce impressive visual effects, unattainable without GANs. In this paper, we significantly expand the range of visual effects achievable with the state-of-the-art models, like StyleGAN2. In contrast to existing works, which mostly operate by latent codes, we discover interpretable directions in the space of the generator parameters. By several simple methods, we explore this space and demonstrate that it also contains a plethora of interpretable directions, which are an excellent source of non-trivial semantic manipulations. The discovered manipulations cannot be achieved by transforming the latent codes and can be used to edit both synthetic and real images. We release our code and models and hope they will serve as a handy tool for further efforts on GAN-based image editing.
• Abstract（参考訳）: Generative Adversarial Networks (GAN) は現在、画像から画像への変換と画像復元パイプラインの標準コンポーネントである視覚編集に必須のツールである。 さらに、GANは、その潜在空間が幅広い解釈可能な方向を含み、セマンティック編集操作に適しているため、制御可能な生成に特に有用である。 これらの方向に沿って徐々に潜在コードを変更することで、ganなしでは達成できない印象的な視覚効果を生み出すことができる。 本稿では,StyleGAN2のような最先端のモデルで実現可能な視覚効果の範囲を大きく広げる。 潜在コードで主に動作する既存の作品とは対照的に、ジェネレータパラメータの空間で解釈可能な方向を見つける。 いくつかの簡単な方法により、この空間を探索し、非自明な意味操作の優れた源である解釈可能な方向の多元性も含むことを示した。 検出された操作は潜在コードを変換することでは達成できず、合成画像と実画像の両方を編集するのに使うことができる。 コードとモデルをリリースし、GANベースの画像編集のさらなる取り組みのための便利なツールになることを願っています。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
  既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。 コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。 定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-06T17:02:25Z)
• Decorating Your Own Bedroom: Locally Controlling Image Generation with Generative Adversarial Networks [15.253043666814413]
  出力画像のローカル編集を支援するために、LoGANと呼ばれる効果的なアプローチを提案します。 部屋内の個々のオブジェクトをシームレスに削除、挿入、シフト、回転することが可能です。 我々の方法は部屋を完全に取り除き、それをカスタマイズされた家具やスタイルで再現することができる。
  論文  参考訳（メタデータ） (2021-05-18T01:31:49Z)
• StyleMapGAN: Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing [19.495153059077367]
  generative adversarial networks (gans) はランダムな潜在ベクトルから現実的な画像を合成する。 ganによる実画像の編集は、実画像を潜在ベクトルに投影するための時間消費最適化(ii)またはエンコーダによる不正確な埋め込みに苦しむ。 StyleMapGANを提案する:中間潜空間は空間次元を持ち、空間的変異体はAdaINを置き換える。
  論文  参考訳（メタデータ） (2021-04-30T04:43:24Z)
• Linear Semantics in Generative Adversarial Networks [26.123252503846942]
  GANのセマンティック表現をよりよく理解し、GANの生成プロセスにおけるセマンティック制御を可能にすることを目指しています。 よく訓練されたGANは、イメージセマンティクスを驚くほどシンプルな方法で内部機能マップにエンコードします。 Semantic-Conditional SamplingとSemantic Image Editingという2つの画像編集手法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:18:48Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。