論文の概要: Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization

• arxiv url: http://arxiv.org/abs/2101.09453v1
• Date: Sat, 23 Jan 2021 08:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 10:41:01.041352
• Title: Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
• Title（参考訳）: 重み正規化によるスパース符号化変分オートエンコーダの訓練改善
• Authors: Linxing Preston Jiang, Luciano de la Iglesia
• Abstract要約: 我々は最近提案されたsparse coding variational autoencoder (svae) に着目した。 単位ノルムへのフィルタの投影がアクティブフィルタの数を劇的に増加させることを示す。 本結果は,データから疎表現を学習する上での重み正規化の重要性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a generative model of visual information with sparse and compositional features has been a challenge for both theoretical neuroscience and machine learning communities. Sparse coding models have achieved great success in explaining the receptive fields of mammalian primary visual cortex with sparsely activated latent representation. In this paper, we focus on a recently proposed model, sparse coding variational autoencoder (SVAE) (Barello et al., 2018), and show that the end-to-end training scheme of SVAE leads to a large group of decoding filters not fully optimized with noise-like receptive fields. We propose a few heuristics to improve the training of SVAE and show that a unit $L_2$ norm constraint on the decoder is critical to produce sparse coding filters. Such normalization can be considered as local lateral inhibition in the cortex. We verify this claim empirically on both natural image patches and MNIST dataset and show that projection of the filters onto unit norm drastically increases the number of active filters. Our results highlight the importance of weight normalization for learning sparse representation from data and suggest a new way of reducing the number of inactive latent components in VAE learning.
• Abstract（参考訳）: まばらで構成的な特徴を持つ視覚情報の生成モデルを学ぶことは、理論神経科学と機械学習のコミュニティの両方にとって課題である。 スパースコーディングモデルは、スパースに活性化された潜在性表現を持つ哺乳類一次視覚野の受容野を説明することに成功している。 本稿では,最近提案されているsparse coding variational autoencoder (svae) (barello et al., 2018) に着目し,sveeのエンドツーエンドのトレーニング方式が,ノイズライクな受容領域に完全に最適化されていないデコードフィルタ群に繋がることを示す。 SVAEのトレーニングを改善するためのいくつかのヒューリスティックスを提案し、デコーダ上のユニット$L_2$ノルム制約がスパース符号化フィルタの作成に重要であることを示す。 このような正規化は、大脳皮質の局所的な側方抑制と見なすことができる。 我々は、この主張を自然画像パッチとMNISTデータセットの両方で実証的に検証し、ユニットノルムへのフィルタの投影がアクティブフィルタの数を大幅に増加させることを示す。 本研究では,データから疎表現を学習する上での重み正規化の重要性を強調し,VAE学習における不活性潜伏成分の削減方法を提案する。

関連論文リスト

• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)
• A generic ensemble based deep convolutional neural network for semi-supervised medical image segmentation [7.141405427125369]
  深層畳み込みニューラルネットワーク(DCNN)に基づく画像セグメンテーションのための汎用的な半教師付き学習フレームワークを提案する。 本手法は,ラベルなしデータを組み込むことで,完全教師付きモデル学習を超えて大幅に改善することができる。
  論文  参考訳（メタデータ） (2020-04-16T23:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。