Fugu-MT 論文翻訳(概要): Local Disentanglement in Variational Auto-Encoders Using Jacobian $L

論文の概要: Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization

arxiv url: http://arxiv.org/abs/2106.02923v1
Date: Sat, 5 Jun 2021 15:40:55 GMT
ステータス: 処理完了
システム内更新日: 2021-06-14 03:20:30.944783
Title: Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization
Title（参考訳）: ヤコビアン$L_1$正規化を用いた変分オートエンコーダの局所歪み
Authors: Travers Rhodes, Daniel D. Lee
Abstract要約: 変分自動エンコーダ(VAEs)とその拡張は、潜伏変数をPCA方向と整列させることが示されている。本稿では, 局所潜伏変数アライメントを促進するために, VAE生成ヤコビアンに$L_$1の損失を適用することを提案する。
参考スコア（独自算出の注目度）: 21.80539548847009
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: There have been many recent advances in representation learning; however, unsupervised representation learning can still struggle with model identification issues. Variational Auto-Encoders (VAEs) and their extensions such as $\beta$-VAEs have been shown to locally align latent variables with PCA directions, which can help to improve model disentanglement under some conditions. Borrowing inspiration from Independent Component Analysis (ICA) and sparse coding, we propose applying an $L_1$ loss to the VAE's generative Jacobian during training to encourage local latent variable alignment with independent factors of variation in the data. We demonstrate our results on a variety of datasets, giving qualitative and quantitative results using information theoretic and modularity measures that show our added $L_1$ cost encourages local axis alignment of the latent representation with individual factors of variation.
Abstract（参考訳）: 表現学習には近年多くの進歩があるが、教師なし表現学習はモデル識別の問題に苦慮している。変分自動エンコーダ(VAEs)とその拡張である$\beta$-VAEsは、潜在変数をPCA方向と局所的に整列させることで、ある条件下でのモデルのゆがみを改善するのに役立つ。独立成分分析 (ica) とスパース符号化 (sparse coding) から着想を得て,vae の生成ヤコビアンに $l_1$ の損失を適用し,データの変化の独立要因と局所的潜在変数アライメントを促進する。我々は,情報理論とモジュール性を用いた質的,定量的な結果を提供し,付加した$L_1$コストが,潜伏表現と変動要因の局所的な軸アライメントを促進することを示す。

関連論文リスト

Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文参考訳（メタデータ） (2025-02-11T19:24:09Z)
$α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
論文参考訳（メタデータ） (2024-11-01T13:50:06Z)
Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
論文参考訳（メタデータ） (2024-09-23T09:33:53Z)
Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文参考訳（メタデータ） (2023-10-03T20:37:03Z)
Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文参考訳（メタデータ） (2021-11-25T17:33:12Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Demystifying Inductive Biases for $\beta$-VAE Based Architectures [19.53632220171481]
私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
論文参考訳（メタデータ） (2021-02-12T23:57:20Z)
Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文参考訳（メタデータ） (2020-12-07T14:16:14Z)
Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文参考訳（メタデータ） (2020-07-17T21:50:35Z)
NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
論文参考訳（メタデータ） (2020-02-26T15:49:57Z)
On Implicit Regularization in $\beta$-VAEs [32.674190005384204]
2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
論文参考訳（メタデータ） (2020-01-31T19:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。