論文の概要: Sparse Coding with Multi-Layer Decoders using Variance Regularization

• arxiv url: http://arxiv.org/abs/2112.09214v1
• Date: Thu, 16 Dec 2021 21:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 14:01:37.213560
• Title: Sparse Coding with Multi-Layer Decoders using Variance Regularization
• Title（参考訳）: 可変正規化を用いたマルチ層デコーダによるスパース符号化
• Authors: Katrina Evtimova, Yann LeCun
• Abstract要約: 本稿では,デコーダの正規化を必要とせずに,符号の崩壊を防止する新しいスパース符号化プロトコルを提案する。 本手法は,各潜時符号成分が一定の閾値を超える分散を有するように,直接正規化する。 分散正規化法を用いて訓練した多層デコーダを用いたスパースオートエンコーダは、スペーサー表現を用いた高品質な再構成を実現する。
• 参考スコア（独自算出の注目度）: 19.8572592390623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse coding with an $l_1$ penalty and a learned linear dictionary requires regularization of the dictionary to prevent a collapse in the $l_1$ norms of the codes. Typically, this regularization entails bounding the Euclidean norms of the dictionary's elements. In this work, we propose a novel sparse coding protocol which prevents a collapse in the codes without the need to regularize the decoder. Our method regularizes the codes directly so that each latent code component has variance greater than a fixed threshold over a set of sparse representations for a given set of inputs. Furthermore, we explore ways to effectively train sparse coding systems with multi-layer decoders since they can model more complex relationships than linear dictionaries. In our experiments with MNIST and natural image patches, we show that decoders learned with our approach have interpretable features both in the linear and multi-layer case. Moreover, we show that sparse autoencoders with multi-layer decoders trained using our variance regularization method produce higher quality reconstructions with sparser representations when compared to autoencoders with linear dictionaries. Additionally, sparse representations obtained with our variance regularization approach are useful in the downstream tasks of denoising and classification in the low-data regime.
• Abstract（参考訳）: l_1$ペナルティと学習線形辞書によるスパース符号化は、コードの$l_1$ノルムの崩壊を防ぐために辞書の正規化を必要とする。 典型的には、この正規化は辞書の要素のユークリッドノルムの境界を含む。 本研究では,デコーダの正規化を必要とせずに,符号の崩壊を防止する新しいスパース符号化プロトコルを提案する。 提案手法は、各潜在コードコンポーネントが所定の入力セットに対するスパース表現の集合に対して固定しきい値よりも大きな分散を持つように、コードを直接正規化する。 さらに,線形辞書よりも複雑な関係をモデル化できるため,多層デコーダを用いた疎結合符号化システムを効果的に学習する方法を検討する。 MNISTと自然画像パッチを用いた実験では, 線形および多層解析の両方において, デコーダが解釈可能であることを示した。 さらに,分散正規化法を用いて訓練した多層デコーダを用いたスパースオートエンコーダは,線形辞書を持つオートエンコーダと比較して,スパルサー表現を用いた高品質な再構成を実現する。 さらに,分散正規化手法により得られたスパース表現は,低データ環境下での分節化と分類の下流タスクに有用である。

関連論文リスト

• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• Deep Polar Codes [19.265010348250897]
  我々は、深度極性符号(deep polar code)と呼ばれる、事前変換された極性符号の新たなクラスを導入する。 まず、様々な大きさの多層極変換を利用するディープ・ポーラ・エンコーダを提案する。 我々の符号化法はレートプロファイリングの柔軟性を提供し、幅広いコードレートとブロック長を受け入れる。
  論文  参考訳（メタデータ） (2023-08-06T03:29:18Z)
• SC-VAE: Sparse Coding-based Variational Autoencoder with Learned ISTA [0.6770292596301478]
  そこで本研究では,ISTA (SC-VAE) を用いたスパース符号化に基づくVAEを新たに導入し,スパース符号化を可変オートエンコーダフレームワークに統合する。 2つの画像データセットに対する実験により、我々のモデルは、最先端の手法と比較して、画像再構成結果の改善を実現していることが示された。
  論文  参考訳（メタデータ） (2023-03-29T13:18:33Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Sensitivity of sparse codes to image distortions [4.209801809583906]
  スパース符号は画像歪みに非常に敏感であることを示す。 この感度は、アクティブ辞書要素と高いキャンセル率の線形結合が存在するためである。
  論文  参考訳（メタデータ） (2022-04-15T13:58:00Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。