論文の概要: Demystifying Inductive Biases for $\beta$-VAE Based Architectures
- arxiv url: http://arxiv.org/abs/2102.06822v1
- Date: Fri, 12 Feb 2021 23:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 16:11:33.580923
- Title: Demystifying Inductive Biases for $\beta$-VAE Based Architectures
- Title（参考訳）: Demystifying Inductive Biases for $\beta$-VAE based Architectures
- Authors: Dominik Zietlow, Michal Rolinek, Georg Martius
- Abstract要約: 私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。
古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
- 参考スコア（独自算出の注目度）: 19.53632220171481
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of $\beta$-Variational-Autoencoders ($\beta$-VAEs) and their
variants on learning semantically meaningful, disentangled representations is
unparalleled. On the other hand, there are theoretical arguments suggesting the
impossibility of unsupervised disentanglement. In this work, we shed light on
the inductive bias responsible for the success of VAE-based architectures. We
show that in classical datasets the structure of variance, induced by the
generating factors, is conveniently aligned with the latent directions fostered
by the VAE objective. This builds the pivotal bias on which the disentangling
abilities of VAEs rely. By small, elaborate perturbations of existing datasets,
we hide the convenient correlation structure that is easily exploited by a
variety of architectures. To demonstrate this, we construct modified versions
of standard datasets in which (i) the generative factors are perfectly
preserved; (ii) each image undergoes a mild transformation causing a small
change of variance; (iii) the leading \textbf{VAE-based disentanglement
architectures fail to produce disentangled representations whilst the
performance of a non-variational method remains unchanged}. The construction of
our modifications is nontrivial and relies on recent progress on mechanistic
understanding of $\beta$-VAEs and their connection to PCA. We strengthen that
connection by providing additional insights that are of stand-alone interest.
- Abstract（参考訳）: $\beta$-Variational-Autoencoders ($\beta$-VAEs)のパフォーマンスと、意味的に意味のある、非絡み合った表現の学習におけるそれらの変形は比類のないものである。
一方、非監視的な束縛の不可能を示唆する理論的な議論がある。
この研究では、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てた。
古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
これは、VAEの解き放つ能力が依存する重要なバイアスを構築します。
既存のデータセットの小さく精巧な摂動によって、様々なアーキテクチャで容易に活用できる便利な相関構造を隠蔽する。
これを実証するために, (i) 生成因子が完全に保存された標準データセットの修正版を構築し, (ii) 画像はばらつきの小さな変化を引き起こす穏やかな変換を行う。 (iii) 先行する \textbf{vae-based disentanglement architectures は,非変数法の性能が変わらず, 異角表現を生成しない。
我々の修正の構成は自明で、$\beta$-vaes の機械的な理解と pca への接続の最近の進歩に依存している。
私たちは、独立した関心を持つ追加の洞察を提供することで、このつながりを強化します。
関連論文リスト
- $α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。
本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。
以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
論文 参考訳（メタデータ） (2024-11-01T13:50:06Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳（メタデータ） (2023-12-15T12:58:05Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure
reconstruction from extremely small data sets [110.60233593474796]
DA-VEGANは2つの中心的なイノベーションを持つモデルである。
$beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。
このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
論文 参考訳（メタデータ） (2023-02-17T08:49:09Z) - DAPDAG: Domain Adaptation via Perturbed DAG Reconstruction [78.76115370275733]
本研究では,人口統計量の推定を行う自動エンコーダを学習し,有向非巡回グラフ(DAG)を補助的タスクとして再構築する。
基礎となるDAG構造は、条件分布が潜伏環境変数$E$によって導かれる領域間で変化することが許される観測変数の間で不変であると仮定される。
我々は、エンコーダとデコーダをエンドツーエンドで共同で訓練し、混合変数を用いた合成および実データセットの実験を行う。
論文 参考訳（メタデータ） (2022-08-02T11:43:03Z) - Defending Variational Autoencoders from Adversarial Attacks with MCMC [74.36233246536459]
変分オートエンコーダ(VAE)は、様々な領域で使用される深部生成モデルである。
以前の研究が示すように、視覚的にわずかに修正された入力に対する予期せぬ潜在表現と再構成を生成するために、VAEを簡単に騙すことができる。
本稿では, 敵攻撃構築のための目的関数について検討し, モデルのロバスト性を評価する指標を提案し, 解決策を提案する。
論文 参考訳（メタデータ） (2022-03-18T13:25:18Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$
Regularization [21.80539548847009]
変分自動エンコーダ(VAEs)とその拡張は、潜伏変数をPCA方向と整列させることが示されている。
本稿では, 局所潜伏変数アライメントを促進するために, VAE生成ヤコビアンに$L_$1の損失を適用することを提案する。
論文 参考訳（メタデータ） (2021-06-05T15:40:55Z) - NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。
共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。
共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
論文 参考訳（メタデータ） (2020-02-26T15:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。