論文の概要: Positional Encoding as Spatial Inductive Bias in GANs

• arxiv url: http://arxiv.org/abs/2012.05217v1
• Date: Wed, 9 Dec 2020 18:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 05:58:27.807899
• Title: Positional Encoding as Spatial Inductive Bias in GANs
• Title（参考訳）: GANにおける空間誘導バイアスとしての位置符号化
• Authors: Rui Xu, Xintao Wang, Kai Chen, Bolei Zhou, Chen Change Loy
• Abstract要約: SinGANは限られた有効な受容器分野にもかかわらず内部パッチ配分の学習の印象的な機能を示します。 本研究では,発電機のパディングゼロ時における暗黙的位置符号化によって,このような能力が大幅にもたらされることを示した。 本稿では,新しいマルチスケール学習戦略を提案し,その効果を最新型無条件発電機stylegan2で実証する。
• 参考スコア（独自算出の注目度）: 97.6622154941448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SinGAN shows impressive capability in learning internal patch distribution despite its limited effective receptive field. We are interested in knowing how such a translation-invariant convolutional generator could capture the global structure with just a spatially i.i.d. input. In this work, taking SinGAN and StyleGAN2 as examples, we show that such capability, to a large extent, is brought by the implicit positional encoding when using zero padding in the generators. Such positional encoding is indispensable for generating images with high fidelity. The same phenomenon is observed in other generative architectures such as DCGAN and PGGAN. We further show that zero padding leads to an unbalanced spatial bias with a vague relation between locations. To offer a better spatial inductive bias, we investigate alternative positional encodings and analyze their effects. Based on a more flexible positional encoding explicitly, we propose a new multi-scale training strategy and demonstrate its effectiveness in the state-of-the-art unconditional generator StyleGAN2. Besides, the explicit spatial inductive bias substantially improve SinGAN for more versatile image manipulation.
• Abstract（参考訳）: SinGANは、効果的な受容野が限られているにもかかわらず、内部パッチの分布を学習する能力を示す。 このような変換不変な畳み込み生成器が空間的i.d.で大域構造を捉えることができるのかを知ることに興味がある。 入力。 本研究は,SinGANとStyleGAN2を例として,発電機にゼロパディングを使用する場合の暗黙的な位置エンコーディングによって,その能力が大きく向上することを示す。 このような位置符号化は、忠実度の高い画像を生成するのに不可欠である。 同様の現象はDCGANやPGGANといった他の遺伝子構造でも見られる。 さらに, ゼロパディングは, 位置間のあいまいな関係で不均衡な空間バイアスをもたらすことを示す。 より優れた空間誘導バイアスを与えるために、代替位置エンコーディングを調査し、その効果を分析する。 より柔軟な位置符号化を明記した新しいマルチスケールトレーニング戦略を提案し,その効果を現状の無条件生成器stylegan2で実証する。 さらに、空間誘導バイアスにより、より汎用的な画像操作のためのSinGANが大幅に向上する。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• High-fidelity GAN Inversion with Padding Space [38.9258619444968]
  GAN(Generative Adversarial Network)の反転は、事前訓練されたジェネレータを用いた幅広い画像編集作業を容易にする。 既存の手法では、通常、反転空間としてGANの潜伏空間を用いるが、空間詳細の回復は不十分である。 本稿では, 潜伏空間を空間情報で補うため, ジェネレータのパディング空間を包含することを提案する。
  論文  参考訳（メタデータ） (2022-03-21T16:32:12Z)
• Toward Spatially Unbiased Generative Models [19.269719158344508]
  最近の画像生成モデルは顕著な生成性能を示している。 しかし、それらは、空間バイアスと呼ばれるデータセットの強い位置優先を反映している。 生成元は空間的コンテンツを描画するために暗黙的な位置エンコーディングに頼っていると論じる。
  論文  参考訳（メタデータ） (2021-08-03T04:13:03Z)
• Low-Rank Subspaces in GANs [101.48350547067628]
  この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。 LowRankGAN は属性多様体の低次元表現を見つけることができる。 さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
  論文  参考訳（メタデータ） (2021-06-08T16:16:32Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)
• Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization [4.529132742139768]
  GAN(Generative Adversarial Networks)は、多様体内の実画像の分布を学習し、実際のように見えるサンプルを生成する。 本稿では,これらの問題を教師付きGANに対して緩和する方法を探究する。
  論文  参考訳（メタデータ） (2020-01-22T16:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。