論文の概要: Learning Sparse Latent Representations for Generator Model
- arxiv url: http://arxiv.org/abs/2209.09949v1
- Date: Tue, 20 Sep 2022 18:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 16:19:09.476506
- Title: Learning Sparse Latent Representations for Generator Model
- Title(参考訳): ジェネレータモデルのスパース潜在表現の学習
- Authors: Hanao Li, Tian Han
- Abstract要約: そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
- 参考スコア(独自算出の注目度): 7.467412443287767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparsity is a desirable attribute. It can lead to more efficient and more
effective representations compared to the dense model. Meanwhile, learning
sparse latent representations has been a challenging problem in the field of
computer vision and machine learning due to its complexity. In this paper, we
present a new unsupervised learning method to enforce sparsity on the latent
space for the generator model with a gradually sparsified spike and slab
distribution as our prior. Our model consists of only one top-down generator
network that maps the latent variable to the observed data. Latent variables
can be inferred following generator posterior direction using non-persistent
gradient based method. Spike and Slab regularization in the inference step can
push non-informative latent dimensions towards zero to induce sparsity.
Extensive experiments show the model can preserve majority of the information
from original images with sparse representations while demonstrating improved
results compared to other existing methods. We observe that our model can learn
disentangled semantics and increase explainability of the latent codes while
boosting the robustness in the task of classification and denoising.
- Abstract(参考訳): スパーシティは望ましい属性です。
これは高密度モデルよりも効率的で効果的な表現につながる可能性がある。
一方,コンピュータビジョンや機械学習では,学習の難易度が低かったため,学習の難易度が問題となっている。
本稿では,従来のように徐々にスパース化スパイクとスラブ分布を持つ発電機モデルの潜在空間にスパース性を持たせるための教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
非永続勾配法を用いて, 発電機後向きの潜伏変数を推定できる。
推論ステップにおけるスパイクとスラブの正則化は、非形式的潜在次元をゼロへ押し上げ、空間性を誘導する。
広範に実験した結果,既存の手法に比べて精度が向上し,疎い表現で元の画像から得られる情報の大半を保存できることがわかった。
我々は,このモデルが不連続なセマンティクスを学習し,潜在コードの説明可能性を高めつつ,分類や弁別作業におけるロバスト性を高めることができることを観察する。
関連論文リスト
- BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳(メタデータ) (2023-05-28T05:38:28Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
本稿では,スパース深部潜伏生成モデルSDLGMを提案する。
表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。
推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
論文 参考訳(メタデータ) (2023-04-03T12:47:18Z) - Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。
ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。
ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
論文 参考訳(メタデータ) (2022-04-23T23:16:47Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳(メタデータ) (2021-11-10T07:07:54Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳(メタデータ) (2021-01-21T01:46:36Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳(メタデータ) (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。