論文の概要: Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data

• arxiv url: http://arxiv.org/abs/2412.16899v1
• Date: Sun, 22 Dec 2024 07:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:45.035203
• Title: Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data
• Title（参考訳）: 変分オートエンコーダにおける相関データの次元化のためのランダム効果の統合
• Authors: Giora Simchoni, Saharon Rosset,
• Abstract要約: LMMVAEは、従来のVAEラテントモデルを固定部品とランダム部品に分離する新しいモデルである。 その結果, 正方形復元誤差と負の可能性損失は, 未確認データに対して有意に改善した。
• 参考スコア（独自算出の注目度）: 9.990687944474738
• License:
• Abstract: Variational Autoencoders (VAE) are widely used for dimensionality reduction of large-scale tabular and image datasets, under the assumption of independence between data observations. In practice, however, datasets are often correlated, with typical sources of correlation including spatial, temporal and clustering structures. Inspired by the literature on linear mixed models (LMM), we propose LMMVAE -- a novel model which separates the classic VAE latent model into fixed and random parts. While the fixed part assumes the latent variables are independent as usual, the random part consists of latent variables which are correlated between similar clusters in the data such as nearby locations or successive measurements. The classic VAE architecture and loss are modified accordingly. LMMVAE is shown to improve squared reconstruction error and negative likelihood loss significantly on unseen data, with simulated as well as real datasets from various applications and correlation scenarios. It also shows improvement in the performance of downstream tasks such as supervised classification on the learned representations.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、データ観測間の独立性を前提として、大規模表や画像データセットの次元削減に広く用いられている。 しかし実際には、データセットはしばしば相関し、空間的、時間的、クラスタリング構造を含む典型的な相関の源となる。 線形混合モデル(LMM)に関する文献から着想を得て,従来のVAE潜在モデルを固定部とランダム部に分離する新しいモデルLMMVAEを提案する。 固定部は、潜伏変数が通常通り独立であると仮定するが、ランダム部は、近接位置や連続測定のようなデータ内の類似したクラスタ間で相関する潜伏変数からなる。 古典的なVAEアーキテクチャと損失は、それに応じて修正される。 LMMVAEは、様々なアプリケーションからの実際のデータセットや相関シナリオをシミュレートすることで、見知らぬデータに対して2乗再構成誤差と負の確率損失を大幅に改善することが示されている。 また、学習した表現に対する教師付き分類などの下流タスクの性能向上を示す。

関連論文リスト

• Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
  因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。 本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-02T04:01:38Z)
• An improved tabular data generator with VAE-GMM integration [9.4491536689161]
  本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。 本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。 我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
  論文  参考訳（メタデータ） (2024-04-12T12:31:06Z)
• Predictive variational autoencoder for learning robust representations of time-series data [0.0]
  本稿では,次点を予測するVAEアーキテクチャを提案する。 VAEの2つの制約は、時間とともにスムーズであることを示し、堅牢な潜伏表現を生成し、合成データセット上の潜伏因子を忠実に回収する。
  論文  参考訳（メタデータ） (2023-12-12T02:06:50Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• RENs: Relevance Encoding Networks [0.0]
  本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。 提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
  論文  参考訳（メタデータ） (2022-05-25T21:53:48Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)
• Variational Selective Autoencoder: Learning from Partially-Observed Heterogeneous Data [45.23338389559936]
  本研究では,部分観測された異種データから表現を学習するための変分選択型オートエンコーダ(VSAE)を提案する。 vsaeは、観測データ、観測されていないデータ、およびインプテーションマスクの合同分布をモデル化することで、異種データの潜在依存関係を学習する。 その結果、データ生成や計算を含むさまざまな下流タスクの統一モデルが実現される。
  論文  参考訳（メタデータ） (2021-02-25T04:39:13Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Longitudinal Variational Autoencoder [1.4680035572775534]
  不足値を含む高次元データを解析するための一般的なアプローチは、変分オートエンコーダ(VAE)を用いた低次元表現を学習することである。 標準的なVAEは、学習した表現はi.d.であり、データサンプル間の相関を捉えることができないと仮定する。 本稿では,多出力加法的ガウス過程(GP)を用いて,構造化された低次元表現を学習するVAEの能力を拡張した縦型VAE(L-VAE)を提案する。 我々の手法は時間変化の共有効果とランダム効果の両方に同時に対応でき、構造化された低次元表現を生成する。
  論文  参考訳（メタデータ） (2020-06-17T10:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。