論文の概要: Householder Projector for Unsupervised Latent Semantics Discovery
- arxiv url: http://arxiv.org/abs/2307.08012v1
- Date: Sun, 16 Jul 2023 11:43:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 16:11:44.345606
- Title: Householder Projector for Unsupervised Latent Semantics Discovery
- Title(参考訳): 教師なし潜在セマンティクス発見のための家計プロジェクタ
- Authors: Yue Song, Jichao Zhang, Nicu Sebe, Wei Wang
- Abstract要約: Householder Projectorは、画像の忠実さを犠牲にすることなく、StyleGANがより複雑で正確なセマンティック属性を見つけるのに役立つ。
プロジェクタを事前訓練したStyleGAN2/StyleGAN3に統合し、複数のベンチマークでモデルを評価する。
- 参考スコア(独自算出の注目度): 58.92485745195358
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative Adversarial Networks (GANs), especially the recent style-based
generators (StyleGANs), have versatile semantics in the structured latent
space. Latent semantics discovery methods emerge to move around the latent code
such that only one factor varies during the traversal. Recently, an
unsupervised method proposed a promising direction to directly use the
eigenvectors of the projection matrix that maps latent codes to features as the
interpretable directions. However, one overlooked fact is that the projection
matrix is non-orthogonal and the number of eigenvectors is too large. The
non-orthogonality would entangle semantic attributes in the top few
eigenvectors, and the large dimensionality might result in meaningless
variations among the directions even if the matrix is orthogonal. To avoid
these issues, we propose Householder Projector, a flexible and general low-rank
orthogonal matrix representation based on Householder transformations, to
parameterize the projection matrix. The orthogonality guarantees that the
eigenvectors correspond to disentangled interpretable semantics, while the
low-rank property encourages that each identified direction has meaningful
variations. We integrate our projector into pre-trained StyleGAN2/StyleGAN3 and
evaluate the models on several benchmarks. Within only $1\%$ of the original
training steps for fine-tuning, our projector helps StyleGANs to discover more
disentangled and precise semantic attributes without sacrificing image
fidelity.
- Abstract(参考訳): GAN(Generative Adversarial Networks)、特に最近のスタイルベースジェネレータ(StyleGANs)は、構造化潜在空間において汎用的な意味を持つ。
潜時セマンティクス発見法が潜時コードの周りを動き回るようになり、1つの要素しか経時的に変化しない。
近年,教師なしの手法では,潜在符号を解釈可能な方向として特徴にマッピングするプロジェクション行列の固有ベクトルを直接使用するという有望な方法が提案されている。
しかし、見落とされがちな事実は、射影行列が非直交的であり、固有ベクトルの数が大きすぎることである。
非直交性は、トップ数個の固有ベクトルで意味的属性を絡ませ、大きな次元性は、行列が直交であっても、方向の無意味な変化をもたらすかもしれない。
これらの問題を回避するために, 射影行列をパラメータ化するために, フレキシブルで一般の低次直交行列表現であるhouseer projectorを提案する。
直交性は固有ベクトルが非絡み合いの解釈可能な意味論に対応することを保証し、一方低ランク性はそれぞれの特定方向が有意な変動を持つことを奨励する。
プロジェクタを事前訓練したStyleGAN2/StyleGAN3に統合し、複数のベンチマークでモデルを評価する。
私たちのプロジェクタは、微調整のためのオリジナルのトレーニングステップのわずか1\%で、画像の忠実さを犠牲にすることなく、より複雑で正確なセマンティック属性を見つけるのに役立ちます。
関連論文リスト
- Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - 4D Panoptic Segmentation as Invariant and Equivariant Field Prediction [48.57732508537554]
我々は4次元パノプティカルセグメンテーションのための回転同変ニューラルネットワークを開発した。
その結果,同種でないモデルに比べて計算コストが低いモデルの方が精度が高いことがわかった。
本手法は,新しい最先端性能を設定し,セマンティックKITTITI 4Dパネルにおいて第1位を獲得している。
論文 参考訳(メタデータ) (2023-03-28T00:20:37Z) - Controlling Directions Orthogonal to a Classifier [11.882219706353045]
本稿では,与えられた分類器に不変な方向を識別し,それらの方向をスタイル転送などのタスクで制御できるようにすることを提案する。
直交変動の制御が重要である3つのユースケースとして,スタイル伝達,ドメイン適応,公平性を挙げる。
コードはhttp://github.com/Newbeeer/orthogonal_classifierで入手できる。
論文 参考訳(メタデータ) (2022-01-27T01:23:08Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳(メタデータ) (2021-08-17T15:01:46Z) - EigenGAN: Layer-Wise Eigen-Learning for GANs [84.33920839885619]
EigenGANは、異なる発電機層から解釈可能で制御可能な寸法を無監督にマイニングすることができます。
特定の固有次元の係数をトラバースすることで、ジェネレータは特定の意味属性に対応する連続的な変化を伴うサンプルを生成することができる。
論文 参考訳(メタデータ) (2021-04-26T11:14:37Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳(メタデータ) (2021-02-18T19:39:22Z) - Disentangled Representation Learning and Generation with Manifold
Optimization [10.69910379275607]
本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。
理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
論文 参考訳(メタデータ) (2020-06-12T10:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。