論文の概要: Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation

• arxiv url: http://arxiv.org/abs/2108.07668v1
• Date: Tue, 17 Aug 2021 15:01:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:16:47.488853
• Title: Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation
• Title（参考訳）: 画像生成における教師なし乱れに対する直交ヤコビアン正則化
• Authors: Yuxiang Wei, Yupeng Shi, Xiao Liu, Zhilong Ji, Yuan Gao, Zhongqin Wu, Wangmeng Zuo
• Abstract要約: 直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
• 参考スコア（独自算出の注目度）: 64.92152574895111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised disentanglement learning is a crucial issue for understanding and exploiting deep generative models. Recently, SeFa tries to find latent disentangled directions by performing SVD on the first projection of a pre-trained GAN. However, it is only applied to the first layer and works in a post-processing way. Hessian Penalty minimizes the off-diagonal entries of the output's Hessian matrix to facilitate disentanglement, and can be applied to multi-layers.However, it constrains each entry of output independently, making it not sufficient in disentangling the latent directions (e.g., shape, size, rotation, etc.) of spatially correlated variations. In this paper, we propose a simple Orthogonal Jacobian Regularization (OroJaR) to encourage deep generative model to learn disentangled representations. It simply encourages the variation of output caused by perturbations on different latent dimensions to be orthogonal, and the Jacobian with respect to the input is calculated to represent this variation. We show that our OroJaR also encourages the output's Hessian matrix to be diagonal in an indirect manner. In contrast to the Hessian Penalty, our OroJaR constrains the output in a holistic way, making it very effective in disentangling latent dimensions corresponding to spatially correlated variations. Quantitative and qualitative experimental results show that our method is effective in disentangled and controllable image generation, and performs favorably against the state-of-the-art methods. Our code is available at https://github.com/csyxwei/OroJaR
• Abstract（参考訳）: 教師なしのジエンタングルメント学習は、深層生成モデルの理解と活用において重要な問題である。 近年、SeFaは、事前訓練されたGANの第1射影に対してSVDを実行することで、遅延不整合方向を見つけようとする。 しかし、それは第一層にのみ適用され、後処理の方法で機能する。 ヘシアン・ペナルティは出力のヘシアン行列の対角線外成分を最小化して解離を容易にし、多層体に適用することができるが、出力の各エントリを独立に制限し、潜伏方向(例えば、形状、大きさ、回転など)を遠ざけるには不十分である。 空間的に相関した変化です 本稿では,直交ジャコビアン正規化法(OroJaR)を提案する。 これは単に異なる潜在次元の摂動によって生じる出力の変動を直交することを奨励し、入力に関するヤコビアンはこの変動を表現するために計算される。 我々のオロジャルは出力のヘッセン行列が間接的に対角的であることも示している。 ヘッセンのペナルティとは対照的に、我々のオロジャルは出力を全体論的に制約し、空間的に関連付けられた変動に対応する潜在次元を分離するのに非常に効果的である。 定量的および定性的な実験結果から,本手法は画像生成の切り離しや制御に有効であり,最先端の手法に対して良好に機能することが示された。 私たちのコードはhttps://github.com/csyxwei/OroJaRで利用可能です。

関連論文リスト

• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Unsupervised Disentanglement with Tensor Product Representations on the Torus [78.6315881294899]
  オートエンコーダで表現を学習する現在の方法では、ほとんどベクターを潜在表現として用いている。 本研究では,この目的のためにテンソル積構造を用いることを提案する。 通常分布する特徴を対象とする従来の変分法とは対照的に,表現の潜在空間は単位円の集合上に均一に分布する。
  論文  参考訳（メタデータ） (2022-02-13T04:23:12Z)
• LARGE: Latent-Based Regression through GAN Semantics [42.50535188836529]
  本稿では,少数ショットや弱ビジョンを用いた回帰課題の解法を提案する。 提案手法は,幅広い領域にまたがって適用可能であること,複数の遅延方向探索フレームワークを活用すること,そして最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-07-22T17:55:35Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。