論文の概要: The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement

• arxiv url: http://arxiv.org/abs/2008.10599v1
• Date: Mon, 24 Aug 2020 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 08:59:04.831345
• Title: The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement
• Title（参考訳）: ヘッセンのペナルティ:教師なしの絡み合いの前の弱い
• Authors: William Peebles, John Peebles, Jun-Yan Zhu, Alexei Efros, Antonio Torralba
• Abstract要約: ヘッセン罰(Hessian Penalty)は、単純な正規化用語であり、生成モデルのヘッセンがその入力を対角的であるように促す。 いくつかのデータセットで ProGAN に適用した場合, Hessian Penalty を用いたトレーニングにより, 潜時空間に軸方向の絡み合いが生じることがよく見られる。
• 参考スコア（独自算出の注目度）: 47.03244012150921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing disentanglement methods for deep generative models rely on hand-picked priors and complex encoder-based architectures. In this paper, we propose the Hessian Penalty, a simple regularization term that encourages the Hessian of a generative model with respect to its input to be diagonal. We introduce a model-agnostic, unbiased stochastic approximation of this term based on Hutchinson's estimator to compute it efficiently during training. Our method can be applied to a wide range of deep generators with just a few lines of code. We show that training with the Hessian Penalty often causes axis-aligned disentanglement to emerge in latent space when applied to ProGAN on several datasets. Additionally, we use our regularization term to identify interpretable directions in BigGAN's latent space in an unsupervised fashion. Finally, we provide empirical evidence that the Hessian Penalty encourages substantial shrinkage when applied to over-parameterized latent spaces.
• Abstract（参考訳）: 深層生成モデルの既存の絡み合い法は、ハンドピックされたプリエントと複雑なエンコーダベースのアーキテクチャに依存している。 本稿では,その入力が対角的であることに関して,生成モデルのヘッシアンを奨励する単純な正規化項であるヘッシアンペナルティを提案する。 本稿では,Hutchinsonの推定値に基づいて,モデルに依存しない確率的近似を導入し,学習中に効率よく計算する。 我々の手法は数行のコードで広範囲の深層発電機に適用できる。 いくつかのデータセットで ProGAN に適用した場合, Hessian Penalty を用いたトレーニングにより, 潜時空間に軸方向の絡み合いが生じることがよく見られる。 さらに、正規化項を用いて、教師なしの方法でBigGANの潜在空間の解釈可能な方向を特定する。 最後に、過パラメータ化潜在空間に適用した場合、ヘッセン罰則が実質的な縮小を促進するという経験的証拠を提供する。

関連論文リスト

• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Unsupervised Disentanglement with Tensor Product Representations on the Torus [78.6315881294899]
  オートエンコーダで表現を学習する現在の方法では、ほとんどベクターを潜在表現として用いている。 本研究では,この目的のためにテンソル積構造を用いることを提案する。 通常分布する特徴を対象とする従来の変分法とは対照的に,表現の潜在空間は単位円の集合上に均一に分布する。
  論文  参考訳（メタデータ） (2022-02-13T04:23:12Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Pulling back information geometry [3.0273878903284266]
  我々は,幅広いデコーダ分布に対して有意義な潜在測地を実現できることを示す。 我々は,幅広いデコーダ分布に対して有意義な潜在測地を実現できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T20:16:28Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)
• Efficient Designs of SLOPE Penalty Sequences in Finite Dimension [5.787117733071415]
  線形回帰では、SLOPEはL1ペナルティをソートしてラッソを一般化する新しい凸解析法である。 本稿では,高次元SLOPEペナルティを設計するための2つの効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-14T18:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。