論文の概要: Learning Sparsity of Representations with Discrete Latent Variables
- arxiv url: http://arxiv.org/abs/2304.00935v1
- Date: Mon, 3 Apr 2023 12:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:41:55.571482
- Title: Learning Sparsity of Representations with Discrete Latent Variables
- Title（参考訳）: 離散潜在変数を持つ表現の学習スパーシティ
- Authors: Zhao Xu, Daniel Onoro Rubio, Giuseppe Serra, Mathias Niepert
- Abstract要約: 本稿では,スパース深部潜伏生成モデルSDLGMを提案する。
表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。
推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
- 参考スコア（独自算出の注目度）: 15.05207849434673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep latent generative models have attracted increasing attention due to the
capacity of combining the strengths of deep learning and probabilistic models
in an elegant way. The data representations learned with the models are often
continuous and dense. However in many applications, sparse representations are
expected, such as learning sparse high dimensional embedding of data in an
unsupervised setting, and learning multi-labels from thousands of candidate
tags in a supervised setting. In some scenarios, there could be further
restriction on degree of sparsity: the number of non-zero features of a
representation cannot be larger than a pre-defined threshold $L_0$. In this
paper we propose a sparse deep latent generative model SDLGM to explicitly
model degree of sparsity and thus enable to learn the sparse structure of the
data with the quantified sparsity constraint. The resulting sparsity of a
representation is not fixed, but fits to the observation itself under the
pre-defined restriction. In particular, we introduce to each observation $i$ an
auxiliary random variable $L_i$, which models the sparsity of its
representation. The sparse representations are then generated with a two-step
sampling process via two Gumbel-Softmax distributions. For inference and
learning, we develop an amortized variational method based on MC gradient
estimator. The resulting sparse representations are differentiable with
backpropagation. The experimental evaluation on multiple datasets for
unsupervised and supervised learning problems shows the benefits of the
proposed method.
- Abstract（参考訳）: ディープラーニングの強みと確率モデルとをエレガントな方法で組み合わせる能力によって、深い潜在生成モデルに注目が集まっている。
モデルで学んだデータ表現は、しばしば連続的で密度が高い。
しかし、多くのアプリケーションでは、教師なし環境でデータのスパースな高次元埋め込みを学習したり、教師なし環境で数千の候補タグからマルチラベルを学習したりといったスパース表現が期待されている。
いくつかのシナリオでは、スパーシティの程度にさらに制限がある可能性がある: 表現の0でない特徴の数は、予め定義されたしきい値 $l_0$ よりも大きくはならない。
本稿では,スパース性の程度を明示的にモデル化し,定量化されたスパース性制約によりデータのスパース構造を学習するためのスパース深部潜在生成モデルsdlgmを提案する。
表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。
特に、各観測値 $i$ を補助確率変数 $l_i$ に導入し、その表現のスパーシティをモデル化する。
スパース表現は、2つのGumbel-Softmax分布を介して2段階のサンプリングプロセスで生成される。
推論と学習のために,mc勾配推定法に基づく不定形変分法を開発した。
結果として生じるスパース表現はバックプロパゲーションで微分可能である。
教師なしおよび教師なしの学習問題に対する複数のデータセットに対する実験評価は,提案手法の利点を示す。
関連論文リスト
- Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳（メタデータ） (2024-04-26T06:00:27Z) - Interpretable time series neural representation for classification
purposes [3.1201323892302444]
提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。
実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-10-25T15:06:57Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Learning Sparse Latent Representations for Generator Model [7.467412443287767]
そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
論文 参考訳（メタデータ） (2022-09-20T18:58:24Z) - Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data [42.517927809224275]
本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。
潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。
小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
論文 参考訳（メタデータ） (2022-07-14T19:20:30Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳（メタデータ） (2022-06-15T01:46:05Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。
以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文 参考訳（メタデータ） (2021-10-23T19:19:39Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。