論文の概要: SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space
- arxiv url: http://arxiv.org/abs/2310.06667v1
- Date: Tue, 10 Oct 2023 14:42:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 15:07:23.513487
- Title: SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space
- Title（参考訳）: SC2GAN:自己修正関連GAN空間による絡み合いの再考
- Authors: Zikun Chen, Han Zhao, Parham Aarabi, Ruowei Jiang
- Abstract要約: ある属性の編集方向に従う遺伝子ネットワークは、他の属性と絡み合った変更をもたらす可能性がある。
本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再プロジェクションすることで,SC$2$GANのアンタングル化を実現する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 16.040942072859075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Adversarial Networks (GANs) can synthesize realistic images, with
the learned latent space shown to encode rich semantic information with various
interpretable directions. However, due to the unstructured nature of the
learned latent space, it inherits the bias from the training data where
specific groups of visual attributes that are not causally related tend to
appear together, a phenomenon also known as spurious correlations, e.g., age
and eyeglasses or women and lipsticks. Consequently, the learned distribution
often lacks the proper modelling of the missing examples. The interpolation
following editing directions for one attribute could result in entangled
changes with other attributes. To address this problem, previous works
typically adjust the learned directions to minimize the changes in other
attributes, yet they still fail on strongly correlated features. In this work,
we study the entanglement issue in both the training data and the learned
latent space for the StyleGAN2-FFHQ model. We propose a novel framework
SC$^2$GAN that achieves disentanglement by re-projecting low-density latent
code samples in the original latent space and correcting the editing directions
based on both the high-density and low-density regions. By leveraging the
original meaningful directions and semantic region-specific layers, our
framework interpolates the original latent codes to generate images with
attribute combination that appears infrequently, then inverts these samples
back to the original latent space. We apply our framework to pre-existing
methods that learn meaningful latent directions and showcase its strong
capability to disentangle the attributes with small amounts of low-density
region samples added.
- Abstract（参考訳）: Generative Adversarial Networks (GAN) は、様々な解釈可能な方向でリッチな意味情報をエンコードするために学習された潜在空間を用いて現実的な画像を合成することができる。
しかし、学習された潜伏空間の非構造性のため、因果関係のない視覚特性の特定のグループが一緒に現れる傾向にある訓練データからバイアスを継承する(例えば、年齢や眼鏡、女性や口紅など)。
その結果、学習された分布はしばしば欠落した例の適切なモデリングを欠いている。
ある属性に対する編集方向の補間は、他の属性と絡み合った変更をもたらす可能性がある。
この問題に対処するために、従来の作業では、学習した方向を調整して、他の属性の変更を最小限にするが、強い相関のある機能では失敗する。
本研究では,StyleGAN2-FFHQモデルのトレーニングデータと学習潜在空間の絡み合い問題について検討する。
本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再投影し,高密度領域と低密度領域の両方に基づいて編集方向を補正することにより,歪みを解消する新しいフレームワークSC$^2$GANを提案する。
本来の意味のある方向とセマンティックな領域固有のレイヤを利用することで、フレームワークは、元の潜在コードを補間して、不規則に現れる属性の組み合わせでイメージを生成し、それらのサンプルを元の潜在空間に戻します。
筆者らのフレームワークは,有意な潜伏方向を学習する既存手法に適用し,その特性を少量の低密度領域サンプルで切り離す強力な能力を示す。
関連論文リスト
- Exploring Diffusion Time-steps for Unsupervised Representation Learning [72.43246871893936]
拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。
CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
論文 参考訳（メタデータ） (2024-01-21T08:35:25Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳（メタデータ） (2023-01-20T07:36:29Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳（メタデータ） (2022-12-02T21:39:26Z) - Exploring Gradient-based Multi-directional Controls in GANs [19.950198707910587]
本稿では, 非線形制御の発見手法を提案する。
提案手法は,多方向・多方向特性の多種多様な属性に対してきめ細かな制御が可能であり,現状の手法よりもはるかに優れた非絡み合いを実現する能力を示す。
論文 参考訳（メタデータ） (2022-09-01T19:10:26Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:04:37Z) - Latent Transformations via NeuralODEs for GAN-based Image Editing [25.272389610447856]
トレーニング可能なNeural ODEのフローとして実現された非線形潜時符号操作は、多くの実用的な非顔画像領域にとって有益であることを示す。
特に、既知の属性を持つ多数のデータセットを調査し、ある属性操作が線形シフトのみで取得することが困難であることを実証する。
論文 参考訳（メタデータ） (2021-11-29T18:59:54Z) - LARGE: Latent-Based Regression through GAN Semantics [42.50535188836529]
本稿では,少数ショットや弱ビジョンを用いた回帰課題の解法を提案する。
提案手法は,幅広い領域にまたがって適用可能であること,複数の遅延方向探索フレームワークを活用すること,そして最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-07-22T17:55:35Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳（メタデータ） (2021-07-07T11:43:59Z) - Low-Rank Subspaces in GANs [101.48350547067628]
この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。
LowRankGAN は属性多様体の低次元表現を見つけることができる。
さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
論文 参考訳（メタデータ） (2021-06-08T16:16:32Z) - Disentangled Face Attribute Editing via Instance-Aware Latent Space
Search [30.17338705964925]
GAN(Generative Adversarial Networks)の潜在空間には、意味的な方向性の豊富な集合が存在する。
既存のメソッドは属性のばらつきが弱いため、望ましい属性を変更する際には、他の属性が望ましくない変更になる可能性がある。
本稿では,不整合属性編集のセマンティックな方向を求めるために,インスタンス認識遅延空間探索を行う新しいフレームワーク(IALS)を提案する。
論文 参考訳（メタデータ） (2021-05-26T16:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。