論文の概要: $α$-TCVAE: On the relationship between Disentanglement and Diversity

• arxiv url: http://arxiv.org/abs/2411.00588v1
• Date: Fri, 01 Nov 2024 13:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:33.982743
• Title: $α$-TCVAE: On the relationship between Disentanglement and Diversity
• Title（参考訳）: $α$-TCVAE: 絡み合いと多様性の関係について
• Authors: Cristian Meo, Louis Mahon, Anirudh Goyal, Justin Dauwels,
• Abstract要約: 本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。 本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。 以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
• 参考スコア（独自算出の注目度）: 21.811889512977924
• License:
• Abstract: While disentangled representations have shown promise in generative modeling and representation learning, their downstream usefulness remains debated. Recent studies re-defined disentanglement through a formal connection to symmetries, emphasizing the ability to reduce latent domains and consequently enhance generative capabilities. However, from an information theory viewpoint, assigning a complex attribute to a specific latent variable may be infeasible, limiting the applicability of disentangled representations to simple datasets. In this work, we introduce $\alpha$-TCVAE, a variational autoencoder optimized using a novel total correlation (TC) lower bound that maximizes disentanglement and latent variables informativeness. The proposed TC bound is grounded in information theory constructs, generalizes the $\beta$-VAE lower bound, and can be reduced to a convex combination of the known variational information bottleneck (VIB) and conditional entropy bottleneck (CEB) terms. Moreover, we present quantitative analyses that support the idea that disentangled representations lead to better generative capabilities and diversity. Additionally, we perform downstream task experiments from both representation and RL domains to assess our questions from a broader ML perspective. Our results demonstrate that $\alpha$-TCVAE consistently learns more disentangled representations than baselines and generates more diverse observations without sacrificing visual fidelity. Notably, $\alpha$-TCVAE exhibits marked improvements on MPI3D-Real, the most realistic disentangled dataset in our study, confirming its ability to represent complex datasets when maximizing the informativeness of individual variables. Finally, testing the proposed model off-the-shelf on a state-of-the-art model-based RL agent, Director, significantly shows $\alpha$-TCVAE downstream usefulness on the loconav Ant Maze task.
• Abstract（参考訳）: 不整合表現は生成的モデリングと表現学習において有望であるが、下流の有用性については議論が続いている。 近年の研究では、対称性への公式な接続を通じて、非絡み合いを再定義し、潜在ドメインを減少させ、結果として生成能力を高める能力を強調している。 しかし情報理論の観点からは、複雑な属性を特定の潜在変数に割り当てることは不可能であり、非絡み合った表現を単純なデータセットに限定する。 本稿では,新しい全相関式(TC)下界を最適化した変分オートエンコーダである$\alpha$-TCVAEを導入する。 提案したTC境界は情報理論の構造に基づいており、$\beta$-VAEの下限を一般化し、既知の変動情報ボトルネック(VIB)と条件エントロピーボトルネック(CEB)という用語の凸結合に還元することができる。 さらに,不整合表現がより優れた生成能力と多様性をもたらすという考え方を支持する定量的分析を行った。 さらに、表現領域とRL領域の両方から下流タスク実験を行い、より広範なMLの観点から質問を評価します。 以上の結果から,$\alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,視覚的忠実さを犠牲にすることなく,より多様な観察結果を生成することがわかった。 特に、$\alpha$-TCVAEは、MPI3D-Realを著しく改善し、個々の変数の情報を最大化する際に複雑なデータセットを表現できることを確認した。 最後に、提案したモデルを最先端のモデルベースRLエージェントであるDirectorでオフザシェルフでテストすると、ロコナブAnt Mazeタスクで$\alpha$-TCVAE下流の有用性が顕著に示される。

関連論文リスト

• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Covariate-informed Representation Learning with Samplewise Optimal Identifiable Variational Autoencoders [15.254297587065595]
  最近提案された変分オートエンコーダ (iVAE) は、データの潜在独立成分を学習するための有望なアプローチを提供する。 我々は新しいアプローチ、CI-iVAE(co-informed identible VAE)を開発した。 目的関数は逆関係を強制し、学習された表現はより多くの観測情報を含む。
  論文  参考訳（メタデータ） (2022-02-09T00:18:33Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Demystifying Inductive Biases for $\beta$-VAE Based Architectures [19.53632220171481]
  私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。 古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-12T23:57:20Z)
• Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors [5.317548969642376]
  変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。 本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-06-02T09:05:51Z)
• On the Difference Between the Information Bottleneck and the Deep Information Bottleneck [81.89141311906552]
  本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。