論文の概要: LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis

• arxiv url: http://arxiv.org/abs/2301.04604v1
• Date: Wed, 11 Jan 2023 17:56:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 17:02:48.559565
• Title: LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis
• Title（参考訳）: LinkGAN:制御可能な画像合成のためのGANラテントと画素のリンク
• Authors: Jiapeng Zhu, Ceyuan Yang, Yujun Shen, Zifan Shi, Deli Zhao, Qifeng Chen
• Abstract要約: この研究は、GANトレーニングのための使い易い正規化器を示し、潜在空間のいくつかの軸を画像領域や意味圏に明示的にリンクするのに役立つ。 実験の結果,LinkGANと呼ばれる正則化器の4つの魅力特性が確認された。
• 参考スコア（独自算出の注目度）: 63.63911929017026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents an easy-to-use regularizer for GAN training, which helps explicitly link some axes of the latent space to an image region or a semantic category (e.g., sky) in the synthesis. Establishing such a connection facilitates a more convenient local control of GAN generation, where users can alter image content only within a spatial area simply by partially resampling the latent codes. Experimental results confirm four appealing properties of our regularizer, which we call LinkGAN. (1) Any image region can be linked to the latent space, even if the region is pre-selected before training and fixed for all instances. (2) Two or multiple regions can be independently linked to different latent axes, surprisingly allowing tokenized control of synthesized images. (3) Our regularizer can improve the spatial controllability of both 2D and 3D GAN models, barely sacrificing the synthesis performance. (4) The models trained with our regularizer are compatible with GAN inversion techniques and maintain editability on real images
• Abstract（参考訳）: この研究はganトレーニングのための使いやすい正規化子を提供し、合成において潜在空間の一部の軸を画像領域または意味圏(例えば空)に明示的にリンクするのに役立つ。 このような接続を確立することで、GAN生成のより便利なローカル制御が容易になり、潜時符号を部分的に再サンプリングすることで、ユーザーは空間領域内でのみ画像内容を変更することができる。 実験の結果,LinkGANと呼ばれる正則化器の4つの魅力特性が確認された。 1)任意の画像領域は、トレーニング前に事前に選択され、すべてのインスタンスで固定されている場合でも、潜在空間とリンクすることができる。 2) 2領域または複数の領域は異なる潜伏軸と独立にリンクでき、驚くほど合成画像のトークン化制御が可能である。 3) 正規化器は2次元GANモデルと3次元GANモデルの空間制御性を向上し, 合成性能をほとんど損なわない。 (4) 正規化器で訓練されたモデルはganインバージョン技術と互換性があり, 実画像の編集性が維持される。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Entity-Level Text-Guided Image Manipulation [70.81648416508867]
  実世界の実体レベルにおけるテキスト誘導画像操作の新しい課題(eL-TGIM)について検討する。 本稿では,実世界の画像のセマンティック・マニピュレーション(Semantic Manipulation)を形成する,セマンニ(Semani)と呼ばれるエレガントなフレームワークを提案する。 セマンティクスアライメントフェーズでは、セマンティクスアライメントモジュールを使用して、操作対象のエンティティ関連領域を特定する。 画像操作フェーズでは、SeManiは生成モデルを採用し、エンティティ非関連領域に条件付された新しい画像とターゲットテキスト記述を合成する。
  論文  参考訳（メタデータ） (2023-02-22T13:56:23Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• 3D GAN Inversion with Pose Optimization [26.140281977885376]
  本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。 画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
  論文  参考訳（メタデータ） (2022-10-13T19:06:58Z)
• RSINet: Inpainting Remotely Sensed Images Using Triple GAN Framework [13.613245876782367]
  本稿では,エッジ,色,テクスチャなどの画像の各側面に個別に焦点をあてる新しい塗装法を提案する。 個々のGANには、スペクトルと空間的特徴を明示的に抽出するアテンション機構も組み込まれている。 キャンバス上の2つのよく知られたリモートセンシングデータセット、Open Cities AIとEarthで、当社のモデルと過去の技術モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-02-12T05:19:37Z)
• SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing [35.02841064647306]
  StyleGANは、画像合成と編集の下流タスクに有望な事前モデルを提供する。 本稿では,ジェネレータが局所的な意味部分を個別にモデル化し,構成的に画像を合成するように訓練されるSemanticStyleGANを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:17:11Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Low-Rank Subspaces in GANs [101.48350547067628]
  この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。 LowRankGAN は属性多様体の低次元表現を見つけることができる。 さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
  論文  参考訳（メタデータ） (2021-06-08T16:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。