論文の概要: RENs: Relevance Encoding Networks

• arxiv url: http://arxiv.org/abs/2205.13061v1
• Date: Wed, 25 May 2022 21:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:26:45.109998
• Title: RENs: Relevance Encoding Networks
• Title（参考訳）: RENs: 関連エンコーディングネットワーク
• Authors: Krithika Iyer, Riddhish Bhalodia, Shireen Elhabian
• Abstract要約: 本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。 提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The manifold assumption for high-dimensional data assumes that the data is generated by varying a set of parameters obtained from a low-dimensional latent space. Deep generative models (DGMs) are widely used to learn data representations in an unsupervised way. DGMs parameterize the underlying low-dimensional manifold in the data space using bottleneck architectures such as variational autoencoders (VAEs). The bottleneck dimension for VAEs is treated as a hyperparameter that depends on the dataset and is fixed at design time after extensive tuning. As the intrinsic dimensionality of most real-world datasets is unknown, often, there is a mismatch between the intrinsic dimensionality and the latent dimensionality chosen as a hyperparameter. This mismatch can negatively contribute to the model performance for representation learning and sample generation tasks. This paper proposes relevance encoding networks (RENs): a novel probabilistic VAE-based framework that uses the automatic relevance determination (ARD) prior in the latent space to learn the data-specific bottleneck dimensionality. The relevance of each latent dimension is directly learned from the data along with the other model parameters using stochastic gradient descent and a reparameterization trick adapted to non-Gaussian priors. We leverage the concept of DeepSets to capture permutation invariant statistical properties in both data and latent spaces for relevance determination. The proposed framework is general and flexible and can be used for the state-of-the-art VAE models that leverage regularizers to impose specific characteristics in the latent space (e.g., disentanglement). With extensive experimentation on synthetic and public image datasets, we show that the proposed model learns the relevant latent bottleneck dimensionality without compromising the representation and generation quality of the samples.
• Abstract（参考訳）: 高次元データに対する多様体の仮定は、低次元の潜在空間から得られるパラメータの集合を変化させてデータを生成すると仮定する。 深層生成モデル(dgms)は教師なしの方法でデータ表現を学ぶために広く使われている。 dgmsは変分オートエンコーダ(vaes)のようなボトルネックアーキテクチャを用いてデータ空間内の低次元多様体をパラメータ化する。 VAEのボトルネック次元はデータセットに依存するハイパーパラメータとして扱われ、広範囲なチューニング後に設計時に固定される。 ほとんどの実世界のデータセットの固有次元はしばしば不明であるため、内在次元と潜在次元の間にはハイパーパラメータとして選択された不一致がある。 このミスマッチは、表現学習やサンプル生成タスクのモデルパフォーマンスに負の影響を与える可能性がある。 本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。 各潜在次元の関連性は、確率的勾配降下と非ガウス前駆に適応した再パラメータ化トリックを用いて、他のモデルパラメータとともにデータから直接学習される。 我々はDeepSetsの概念を利用して、データと潜在空間の置換不変な統計特性をキャプチャして関連性決定を行う。 提案されたフレームワークは汎用的で柔軟であり、正則化器を活用して潜伏空間(例えば乱れ)に特定の特性を課す最先端のVAEモデルに使用できる。 合成および公開画像データセットの広範な実験により,提案モデルは,サンプルの表現と生成品質を損なうことなく,関連する潜在ボトルネック次元を学習することを示す。

関連論文リスト

• Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
  我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。 ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。 我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-27T01:25:22Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Targeted Analysis of High-Risk States Using an Oriented Variational Autoencoder [3.494548275937873]
  可変オートエンコーダ(VAE)ニューラルネットワークは、電力系統状態を生成するために訓練することができる。 VAEの潜在空間符号の座標は、データの概念的特徴と相関することが示されている。 本稿では、遅延空間コードと生成されたデータとのリンクを制限するために、指向性変動オートエンコーダ(OVAE)を提案する。
  論文  参考訳（メタデータ） (2023-03-20T19:34:21Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• A Variational Autoencoder for Heterogeneous Temporal and Longitudinal Data [0.3749861135832073]
  近年,経時的および経時的データを処理可能なVAEの拡張は,医療,行動モデリング,予測保守に応用されている。 本研究では,既存の時間的および縦的VAEをヘテロジニアスデータに拡張するヘテロジニアス縦型VAE(HL-VAE)を提案する。 HL-VAEは高次元データセットに対する効率的な推論を提供し、連続、カウント、カテゴリー、順序データのための可能性モデルを含む。
  論文  参考訳（メタデータ） (2022-04-20T10:18:39Z)
• Flow Based Models For Manifold Data [11.344428134774475]
  フローベース生成モデルは一般に、観測空間と同一の次元を持つ潜在空間を定義する。 多くの問題において、データはそれらが常駐する全周囲データ空間を浮き彫りにせず、むしろ低次元多様体である。 サンプル生成と表現品質の両方に利益をもたらす多様体を事前に学習することを提案する。
  論文  参考訳（メタデータ） (2021-09-29T06:48:01Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。