論文の概要: Identifiability of deep generative models under mixture priors without auxiliary information

• arxiv url: http://arxiv.org/abs/2206.10044v1
• Date: Mon, 20 Jun 2022 23:24:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 13:28:21.995594
• Title: Identifiability of deep generative models under mixture priors without auxiliary information
• Title（参考訳）: 補助情報のない混合前の深部生成モデルの同定可能性
• Authors: Bohdan Kivva, Goutham Rajendran, Pradeep Ravikumar, Bryon Aragam
• Abstract要約: 我々は、普遍近似能力を持つ深層潜伏変数モデルのクラスを識別可能であることを証明した。 我々の分析は、弱い監督、補助情報、潜在空間における条件付けを必要としない。
• 参考スコア（独自算出の注目度）: 34.191553176662325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove identifiability of a broad class of deep latent variable models that (a) have universal approximation capabilities and (b) are the decoders of variational autoencoders that are commonly used in practice. Unlike existing work, our analysis does not require weak supervision, auxiliary information, or conditioning in the latent space. Recently, there has been a surge of works studying identifiability of such models. In these works, the main assumption is that along with the data, an auxiliary variable $u$ (also known as side information) is observed as well. At the same time, several works have empirically observed that this doesn't seem to be necessary in practice. In this work, we explain this behavior by showing that for a broad class of generative (i.e. unsupervised) models with universal approximation capabilities, the side information $u$ is not necessary: We prove identifiability of the entire generative model where we do not observe $u$ and only observe the data $x$. The models we consider are tightly connected with autoencoder architectures used in practice that leverage mixture priors in the latent space and ReLU/leaky-ReLU activations in the encoder. Our main result is an identifiability hierarchy that significantly generalizes previous work and exposes how different assumptions lead to different "strengths" of identifiability. For example, our weakest result establishes (unsupervised) identifiability up to an affine transformation, which already improves existing work. It's well known that these models have universal approximation capabilities and moreover, they have been extensively used in practice to learn representations of data.
• Abstract（参考訳）: 我々は、深い潜在変数モデルの幅広いクラスが識別可能であることを証明する。 a) 普遍的な近似能力を持ち (b)は変分オートエンコーダのデコーダで、実際に一般的に使われている。 既存の研究とは異なり、我々の分析は弱監督、補助情報、潜在空間における条件付けを必要としない。 近年,このようなモデルの識別性に関する研究が盛んに行われている。 これらの研究において、データとともに補助変数$u$(サイド情報としても知られる)も観測されるという仮定が主である。 同時に、いくつかの作品が経験的に、これは実際に必要ではないように思われる。 本研究では、普遍近似能力を持つ幅広い生成型モデル(すなわち教師なしモデル)に対して、側面情報$u$が不要であることを示すことにより、この挙動を説明する。 我々の検討するモデルは、潜伏空間の混合先行とエンコーダのReLU/leaky-ReLUアクティベーションを利用する、実際に使用されるオートエンコーダアーキテクチャと密接な関係がある。 我々の主な成果は、以前の作業を大幅に一般化し、異なる仮定が識別可能性の異なる「強さ」にどのように寄与するかを明らかにする識別可能性階層である。 例えば、最も弱い結果はアフィン変換によって(教師なしの)識別可能性を確立します。 これらのモデルが普遍近似能力を持つことはよく知られており、データ表現を学ぶために実際に広く使われている。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models [6.065846799248359]
  大規模言語モデル (LLM) は多様な問題を解決するのに優れた能力を発揮している。 しかし、それらの一般化能力は必ずしも満足しておらず、一般化問題は一般に生成トランスモデルに共通である。 n-digit操作のトレーニングモデルでは,n-digit入力に対してモデルが正常に一般化されるが,もっと長い,見えないケースではフェールすることを示す。
  論文  参考訳（メタデータ） (2023-08-16T10:09:42Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Leveraging variational autoencoders for multiple data imputation [0.5156484100374059]
  本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。 VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。 これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-09-30T08:58:43Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Combining Diverse Feature Priors [90.74601233745047]
  多様な機能事前セットでトレーニングされたモデルには、重複する障害モードが少なくなることを示す。 また、追加(ラベルなし)データでそのようなモデルを共同でトレーニングすることで、互いのミスを修正できることも示しています。
  論文  参考訳（メタデータ） (2021-10-15T17:31:10Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。