論文の概要: Closed-Form Factorization of Latent Semantics in GANs
- arxiv url: http://arxiv.org/abs/2007.06600v4
- Date: Sat, 3 Apr 2021 13:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 00:15:32.958609
- Title: Closed-Form Factorization of Latent Semantics in GANs
- Title(参考訳): GANにおける潜在意味論のクローズドフォーム因子化
- Authors: Yujun Shen, Bolei Zhou
- Abstract要約: 画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 65.42778970898534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A rich set of interpretable dimensions has been shown to emerge in the latent
space of the Generative Adversarial Networks (GANs) trained for synthesizing
images. In order to identify such latent dimensions for image editing, previous
methods typically annotate a collection of synthesized samples and train linear
classifiers in the latent space. However, they require a clear definition of
the target attribute as well as the corresponding manual annotations, limiting
their applications in practice. In this work, we examine the internal
representation learned by GANs to reveal the underlying variation factors in an
unsupervised manner. In particular, we take a closer look into the generation
mechanism of GANs and further propose a closed-form factorization algorithm for
latent semantic discovery by directly decomposing the pre-trained weights. With
a lightning-fast implementation, our approach is capable of not only finding
semantically meaningful dimensions comparably to the state-of-the-art
supervised methods, but also resulting in far more versatile concepts across
multiple GAN models trained on a wide range of datasets.
- Abstract(参考訳): 画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
画像編集の潜在次元を特定するために、従来の手法は一般的に合成されたサンプルの集合に注釈を付け、潜在空間の線形分類器を訓練する。
しかし、それらはターゲット属性と対応する手動アノテーションを明確に定義し、実際にアプリケーションを制限する必要がある。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
特に,GANの生成機構を詳しく検討し,事前学習した重みを直接分解することにより,潜在意味発見のためのクローズドフォーム分解アルゴリズムを提案する。
ライトファストな実装により、我々のアプローチは、最先端の教師付き手法と互換性のある意味論的意味のある次元を見つけるだけでなく、幅広いデータセットで訓練された複数のGANモデルにまたがる、はるかに汎用的な概念を導き出すことができる。
関連論文リスト
- Exploring Compositional Visual Generation with Latent Classifier
Guidance [19.48538300223431]
我々は、潜在表現生成の非線形ナビゲーションを容易にするために、潜時拡散モデルと補助潜時分類器を訓練する。
潜在分類器ガイダンスにより達成された条件付き生成は、トレーニング中の条件付きログ確率の低い境界を確実に最大化することを示す。
遅延分類器誘導に基づくこのパラダイムは、事前学習された生成モデルに非依存であり、実画像と合成画像の逐次的操作と画像生成の両面での競合結果を示す。
論文 参考訳(メタデータ) (2023-04-25T03:02:58Z) - Discovering Interpretable Directions in the Semantic Latent Space of
Diffusion Models [33.29870829048959]
DDM(Denoising Diffusion Models)は、GAN(Generative Adversarial Networks)の強力な競合相手として登場した。
本稿では,h-spaceの特性について検討し,その中に意味のある意味的方向を求めるための新しい手法を提案する。
私たちのアプローチは、アーキテクチャの変更、テキストベースのガイダンス、CLIPベースの最適化、モデル微調整を必要とせずに適用できます。
論文 参考訳(メタデータ) (2023-03-20T12:59:32Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳(メタデータ) (2022-12-02T21:39:26Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Region-Based Semantic Factorization in GANs [67.90498535507106]
本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。
適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。
様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2022-02-19T17:46:02Z) - InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文 参考訳(メタデータ) (2021-06-25T16:34:05Z) - Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。
本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
論文 参考訳(メタデータ) (2020-11-24T02:18:08Z) - Network Bending: Expressive Manipulation of Deep Generative Models [0.2062593640149624]
ネットワーク曲げと呼ばれる深層生成モデルを操作するための新しいフレームワークを提案する。
生成過程において意味論的に意味のある側面を直接操作できるだけでなく、幅広い表現的な結果を得ることができるかを示す。
論文 参考訳(メタデータ) (2020-05-25T21:48:45Z) - Interpreting the Latent Space of GANs via Correlation Analysis for
Controllable Concept Manipulation [9.207806788490057]
GAN(Generative Adversarial Nets)は、画像生成、塗装、超解像、薬物発見など、多くの分野で成功している。
本稿では,生成画像中の潜伏変数と対応する意味内容との相関を解析することにより,GANの潜伏空間を解釈する手法を提案する。
論文 参考訳(メタデータ) (2020-05-23T03:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。