論文の概要: InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents
- arxiv url: http://arxiv.org/abs/2106.13746v1
- Date: Fri, 25 Jun 2021 16:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-28 14:50:02.416930
- Title: InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents
- Title(参考訳): InteL-VAEs:中間潜水剤による変分オートエンコーダへの誘導バイアス付加
- Authors: Ning Miao, Emile Mathieu, N. Siddharth, Yee Whye Teh, Tom Rainforth
- Abstract要約: 本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
- 参考スコア(独自算出の注目度): 60.785317191131284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a simple and effective method for learning VAEs with
controllable inductive biases by using an intermediary set of latent variables.
This allows us to overcome the limitations of the standard Gaussian prior
assumption. In particular, it allows us to impose desired properties like
sparsity or clustering on learned representations, and incorporate prior
information into the learned model. Our approach, which we refer to as the
Intermediary Latent Space VAE (InteL-VAE), is based around controlling the
stochasticity of the encoding process with the intermediary latent variables,
before deterministically mapping them forward to our target latent
representation, from which reconstruction is performed. This allows us to
maintain all the advantages of the traditional VAE framework, while
incorporating desired prior information, inductive biases, and even topological
information through the latent mapping. We show that this, in turn, allows
InteL-VAEs to learn both better generative models and representations.
- Abstract(参考訳): 本稿では,潜在変数の中間集合を用いて,制御可能な帰納バイアスを持つvaes学習法を提案する。
これにより、標準ガウス事前仮定の制限を克服することができる。
特に、学習した表現に疎結合やクラスタリングのような望ましい特性を課し、学習したモデルに事前情報を組み込むことができる。
InteL-VAE(Intermediary Latent Space VAE)と呼ばれる我々のアプローチは、符号化プロセスの確率性を中間潜時変数で制御することに基づいており、それらを対象潜時表現に決定的にマッピングし、そこから再構成を行う。
これにより、望まれる事前情報、帰納的バイアス、さらには潜在マッピングによるトポロジ情報も取り入れながら、従来のVAEフレームワークのすべての利点を維持できます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
関連論文リスト
- Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳(メタデータ) (2023-07-19T10:27:34Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - An Information-Theoretic Perspective on Variance-Invariance-Covariance
Regularization [31.621516856384005]
自己教師型学習のための分散In-Co正規化(VICReg)に関する情報理論的な視点を提供する。
本稿では,従来の手法を性能的に上回る,相互情報目的に基づく自己指導型学習手法を提案する。
論文 参考訳(メタデータ) (2023-03-01T16:36:25Z) - RevUp: Revise and Update Information Bottleneck for Event Representation [16.54912614895861]
機械学習では、潜在変数は基礎となるデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。
本稿では,側知識を用いて個別潜伏変数の学習を指示する半教師付き情報ボトルネックモデルを提案する。
提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。
論文 参考訳(メタデータ) (2022-05-24T17:54:59Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - Variational Mutual Information Maximization Framework for VAE Latent
Codes with Continuous and Discrete Priors [5.317548969642376]
変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。
本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
論文 参考訳(メタデータ) (2020-06-02T09:05:51Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。