論文の概要: Learning Disentangled Discrete Representations

• arxiv url: http://arxiv.org/abs/2307.14151v1
• Date: Wed, 26 Jul 2023 12:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 12:17:35.362807
• Title: Learning Disentangled Discrete Representations
• Title（参考訳）: 分散離散表現の学習
• Authors: David Friede, Christian Reimers, Heiner Stuckenschmidt and Mathias Niepert
• Abstract要約: 本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
• 参考スコア（独自算出の注目度）: 22.5004558029479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent successes in image generation, model-based reinforcement learning, and text-to-image generation have demonstrated the empirical advantages of discrete latent representations, although the reasons behind their benefits remain unclear. We explore the relationship between discrete latent spaces and disentangled representations by replacing the standard Gaussian variational autoencoder (VAE) with a tailored categorical variational autoencoder. We show that the underlying grid structure of categorical distributions mitigates the problem of rotational invariance associated with multivariate Gaussian distributions, acting as an efficient inductive prior for disentangled representations. We provide both analytical and empirical findings that demonstrate the advantages of discrete VAEs for learning disentangled representations. Furthermore, we introduce the first unsupervised model selection strategy that favors disentangled representations.
• Abstract（参考訳）: 最近の画像生成、モデルベース強化学習、テキストから画像への生成の成功は、離散的潜在表現の実証的利点を示しているが、その利点の背後にある理由は定かではない。 本稿では,標準ガウス変分オートエンコーダ(VAE)をカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を検討する。 カテゴリー分布の基盤となる格子構造は多変量ガウス分布に付随する回転不変性の問題を緩和し、非交叉表現の効率的な帰納的先行として機能することを示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。 さらに,不連続表現を好む最初の教師なしモデル選択戦略を提案する。

関連論文リスト

• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• The Benefits of Balance: From Information Projections to Variance Reduction [7.082773426322819]
  表現の崩壊を避けるために通常使用される反復アルゴリズムは、疑わしい利益を享受できることを示す。 我々は、この分散還元効果を定量化する非漸近境界を提供し、それらを適切に定義されたマルコフ作用素の固有デカイに関連付ける。 コントラッシブなマルチモーダル学習と自己教師付きクラスタリングにおいて、様々な形式のデータバランシングが、この分散還元スキームのインスタンスとしてどのように解釈できるかを説明する。
  論文  参考訳（メタデータ） (2024-08-27T13:48:15Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Interpreting Equivariant Representations [5.325297567945828]
  本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。 インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
  論文  参考訳（メタデータ） (2024-01-23T09:43:30Z)
• C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled Representations with Contrastive Posterior [36.2531431458649]
  本研究では,自己教師付き変分オートエンコーダ(VAE)を用いて,非絡み合いや依存型隠れ因子を共同学習する。 次に、自己教師付き分類器による非交叉表現学習を強化し、コントラスト的な方法で結合表現を除去する。
  論文  参考訳（メタデータ） (2023-09-23T08:33:48Z)
• Modelling nonlinear dependencies in the latent space of inverse scattering [1.5990720051907859]
  アングルとマラートによって提案された逆散乱では、ディープニューラルネットワークが画像に適用された散乱変換を反転するように訓練される。 このようなネットワークをトレーニングした後、散乱係数の主成分分布から標本化できることから、生成モデルとして利用することができる。 本稿では,2つのモデル,すなわち変分オートエンコーダと生成逆数ネットワークについて検討する。
  論文  参考訳（メタデータ） (2022-03-19T12:07:43Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。