論文の概要: A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning

• arxiv url: http://arxiv.org/abs/2301.07272v1
• Date: Wed, 18 Jan 2023 02:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-19 17:04:06.956624
• Title: A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning
• Title（参考訳）: 深層辞書学習のための変分オートエンコーダに基づく非負行列分解モデル
• Authors: Hong-Bo Xie, Caoyuan Li, Shuliang Wang, Richard Yi Da Xu and Kerrie Mengersen
• Abstract要約: 非負行列分解(NMF)を用いた辞書の構築は、信号処理や機械学習に広く応用されている。 可変オートエンコーダ(VAE)を用いて非負の辞書学習を行う確率的生成モデルを提案する。
• 参考スコア（独自算出の注目度）: 13.796655751448288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Construction of dictionaries using nonnegative matrix factorisation (NMF) has extensive applications in signal processing and machine learning. With the advances in deep learning, training compact and robust dictionaries using deep neural networks, i.e., dictionaries of deep features, has been proposed. In this study, we propose a probabilistic generative model which employs a variational autoencoder (VAE) to perform nonnegative dictionary learning. In contrast to the existing VAE models, we cast the model under a statistical framework with latent variables obeying a Gamma distribution and design a new loss function to guarantee the nonnegative dictionaries. We adopt an acceptance-rejection sampling reparameterization trick to update the latent variables iteratively. We apply the dictionaries learned from VAE-NMF to two signal processing tasks, i.e., enhancement of speech and extraction of muscle synergies. Experimental results demonstrate that VAE-NMF performs better in learning the latent nonnegative dictionaries in comparison with state-of-the-art methods.
• Abstract（参考訳）: 非負行列分解(NMF)を用いた辞書の構築は、信号処理や機械学習に広く応用されている。 深層学習の進歩に伴い、深層ニューラルネットワーク、すなわち深層特徴の辞書を用いたコンパクトで堅牢な辞書の訓練が提案されている。 本研究では,変分オートエンコーダ(VAE)を用いて非負の辞書学習を行う確率的生成モデルを提案する。 既存のvaeモデルとは対照的に、ガンマ分布に従う潜在変数を持つ統計的枠組みでモデルを作成し、非負の辞書を保証する新しい損失関数を設計した。 我々は、潜伏変数を反復的に更新するために、アクセプション・リジェクションサンプリングのパラメータ化手法を採用する。 VAE-NMFから学んだ辞書を2つの信号処理タスク、すなわち、音声の増強と筋シナジーの抽出に適用する。 実験の結果, VAE-NMFは最先端の手法と比較して, 潜時非負の辞書の学習に優れていた。

関連論文リスト

• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
  本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。 我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。 合成および画像復号化実験により,本研究の成果を補完する。
  論文  参考訳（メタデータ） (2021-05-31T18:49:58Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)
• A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning [32.59760685342343]
  確率的潜在変数モデルは、音声からの言語表現学習のための自己教師付き学習アプローチの代替を提供する。 本研究では,深いニューラルネットワークによってモデル化された非線形放出と遷移関数を持つガウス状態空間モデルであるConvDMMを提案する。 大規模音声データセット(LibriSpeech)で訓練すると、ConvDMMは複数の自己教師付き特徴抽出法よりもはるかに優れた特徴を生成する。
  論文  参考訳（メタデータ） (2020-06-03T21:50:20Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Contrast-weighted Dictionary Learning Based Saliency Detection for Remote Sensing Images [3.338193485961624]
  本稿では,リモートセンシング画像に対するコントラスト重み付き辞書学習(CDL)に基づく新しい唾液度検出モデルを提案する。 具体的には、正と負のサンプルから正と非正の原子を学習し、識別辞書を構築する。 提案手法を用いて, 識別辞書に基づいて, 種々の相補性マップを生成する。
  論文  参考訳（メタデータ） (2020-04-06T06:49:05Z)
• Learning Deep Analysis Dictionaries for Image Super-Resolution [38.7315182732103]
  ディープ分析辞書モデル(DeepAM)は、単一画像超解像と呼ばれる特定の回帰課題に対処するために最適化されている。 我々のアーキテクチャはL層の解析辞書とソフトスレッショルド演算子を含む。 DeepAMは、教師なしと教師なしの両方のセットアップを使用する。
  論文  参考訳（メタデータ） (2020-01-31T18:59:35Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。