論文の概要: Learning Disentangled Discrete Representations
- arxiv url: http://arxiv.org/abs/2307.14151v1
- Date: Wed, 26 Jul 2023 12:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 12:17:35.362807
- Title: Learning Disentangled Discrete Representations
- Title(参考訳): 分散離散表現の学習
- Authors: David Friede, Christian Reimers, Heiner Stuckenschmidt and Mathias
Niepert
- Abstract要約: 本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
- 参考スコア(独自算出の注目度): 22.5004558029479
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent successes in image generation, model-based reinforcement learning, and
text-to-image generation have demonstrated the empirical advantages of discrete
latent representations, although the reasons behind their benefits remain
unclear. We explore the relationship between discrete latent spaces and
disentangled representations by replacing the standard Gaussian variational
autoencoder (VAE) with a tailored categorical variational autoencoder. We show
that the underlying grid structure of categorical distributions mitigates the
problem of rotational invariance associated with multivariate Gaussian
distributions, acting as an efficient inductive prior for disentangled
representations. We provide both analytical and empirical findings that
demonstrate the advantages of discrete VAEs for learning disentangled
representations. Furthermore, we introduce the first unsupervised model
selection strategy that favors disentangled representations.
- Abstract(参考訳): 最近の画像生成、モデルベース強化学習、テキストから画像への生成の成功は、離散的潜在表現の実証的利点を示しているが、その利点の背後にある理由は定かではない。
本稿では,標準ガウス変分オートエンコーダ(VAE)をカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を検討する。
カテゴリー分布の基盤となる格子構造は多変量ガウス分布に付随する回転不変性の問題を緩和し、非交叉表現の効率的な帰納的先行として機能することを示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
さらに,不連続表現を好む最初の教師なしモデル選択戦略を提案する。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Interpreting Equivariant Representations [5.325297567945828]
本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。
インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
論文 参考訳(メタデータ) (2024-01-23T09:43:30Z) - C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled
Representations with Contrastive Posterior [36.2531431458649]
本研究では,自己教師付き変分オートエンコーダ(VAE)を用いて,非絡み合いや依存型隠れ因子を共同学習する。
次に、自己教師付き分類器による非交叉表現学習を強化し、コントラスト的な方法で結合表現を除去する。
論文 参考訳(メタデータ) (2023-09-23T08:33:48Z) - Supervised Contrastive Learning with Heterogeneous Similarity for
Distribution Shifts [3.7819322027528113]
本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。
サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
論文 参考訳(メタデータ) (2023-04-07T01:45:09Z) - Modelling nonlinear dependencies in the latent space of inverse
scattering [1.5990720051907859]
アングルとマラートによって提案された逆散乱では、ディープニューラルネットワークが画像に適用された散乱変換を反転するように訓練される。
このようなネットワークをトレーニングした後、散乱係数の主成分分布から標本化できることから、生成モデルとして利用することができる。
本稿では,2つのモデル,すなわち変分オートエンコーダと生成逆数ネットワークについて検討する。
論文 参考訳(メタデータ) (2022-03-19T12:07:43Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Path Integrals for the Attribution of Model Uncertainties [0.18899300124593643]
本稿では,特徴ベクトルと反事実ベクトルを連結する分布内曲線に依存する新しいアルゴリズムを提案する。
我々は,様々な解像度で画像データセットをベンチマークし,解釈可能性を大幅に単純化することを示す。
論文 参考訳(メタデータ) (2021-07-19T11:07:34Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳(メタデータ) (2020-07-25T08:54:26Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。