論文の概要: Unpicking Data at the Seams: VAEs, Disentanglement and Independent Components
- arxiv url: http://arxiv.org/abs/2410.22559v3
- Date: Thu, 28 Nov 2024 16:14:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:17:57.882175
- Title: Unpicking Data at the Seams: VAEs, Disentanglement and Independent Components
- Title(参考訳): シームのデータ公開 - VAE、ディスタングル、インディペンデントコンポーネント
- Authors: Carl Allen,
- Abstract要約: データのゆがみ(disentanglement)、あるいは統計的に独立な要因を特定することは、機械学習と統計学の多くの分野に関心がある。
分散は、変分オートエンコーダ(VAE)、生成逆数ネットワーク(Generative Adversarial Networks)、拡散モデルなど、いくつかの生成パラダイムで観察される。
- 参考スコア(独自算出の注目度): 5.05828899601167
- License:
- Abstract: Disentanglement, or identifying salient statistically independent factors of the data, is of interest in many areas of machine learning and statistics, such as synthetic data generation with controlled properties, robust classification of features, parsimonious encoding, and improving our understanding of the generative process underlying the data. Disentanglement is observed in several generative paradigms, including Variational Autoencoders (VAEs), Generative Adversarial Networks and diffusion models. Particular progress has recently been made in understanding disentanglement in VAEs, where the choice of diagonal posterior covariance matrices is proposed to promote mutual orthogonality between columns of the decoder's Jacobian. We continue this thread to show how such linear independence translates to statistical independence, completing the chain in understanding how the VAE's objective identifies independent components of, or disentangles, the data.
- Abstract(参考訳): 例えば、制御された特性を持つ合成データ生成、特徴の堅牢な分類、擬似エンコーディング、データの基礎となる生成過程の理解の改善などである。
分散は、変分オートエンコーダ(VAE)、生成逆数ネットワーク(Generative Adversarial Networks)、拡散モデルなど、いくつかの生成パラダイムで観察される。
直交共分散行列の選択はデコーダのヤコビアン列間の相互直交性を促進するために提案されている。
我々は、このスレッドを継続して、この線形独立が統計的独立にどのように変換されるかを示し、VAEの目的がデータの独立したコンポーネント、または非絡み合いのコンポーネントをどのように特定するかを理解するために連鎖を完了させる。
関連論文リスト
- Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data [9.990687944474738]
LMMVAEは、従来のVAEラテントモデルを固定部品とランダム部品に分離する新しいモデルである。
その結果, 正方形復元誤差と負の可能性損失は, 未確認データに対して有意に改善した。
論文 参考訳(メタデータ) (2024-12-22T07:20:17Z) - Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。
本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。
FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
論文 参考訳(メタデータ) (2024-09-23T09:33:53Z) - An improved tabular data generator with VAE-GMM integration [9.4491536689161]
本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。
本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。
我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
論文 参考訳(メタデータ) (2024-04-12T12:31:06Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Is Disentanglement enough? On Latent Representations for Controllable
Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。
VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文 参考訳(メタデータ) (2021-08-01T18:37:43Z) - Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。
既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文 参考訳(メタデータ) (2021-06-21T13:49:44Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳(メタデータ) (2020-10-10T14:04:44Z) - Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。
分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
論文 参考訳(メタデータ) (2020-03-04T16:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。