論文の概要: Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized
Autoencoders
- arxiv url: http://arxiv.org/abs/2102.10873v1
- Date: Mon, 22 Feb 2021 10:14:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 14:39:37.945832
- Title: Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized
Autoencoders
- Title（参考訳）: パスラッソペナル化オートエンコーダによる非線形, スパース次元の低減
- Authors: Oskar Allerbo, Rebecka J\"ornsten
- Abstract要約: 我々は,複雑なデータ構造に対するパスラッソペナルテッドオートエンコーダを提案する。
アルゴリズムは,群ラスソペナルティと非負行列分解を用いて,スパースで非線形な潜在表現を構築する。
このアルゴリズムは,低次元表現のためのスパースPCAやパラメータワイドラッソ正規化オートエンコーダよりもはるかに低い再構成誤差を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional data sets are often analyzed and explored via the
construction of a latent low-dimensional space which enables convenient
visualization and efficient predictive modeling or clustering. For complex data
structures, linear dimensionality reduction techniques like PCA may not be
sufficiently flexible to enable low-dimensional representation. Non-linear
dimension reduction techniques, like kernel PCA and autoencoders, suffer from
loss of interpretability since each latent variable is dependent of all input
dimensions. To address this limitation, we here present path lasso penalized
autoencoders. This structured regularization enhances interpretability by
penalizing each path through the encoder from an input to a latent variable,
thus restricting how many input variables are represented in each latent
dimension. Our algorithm uses a group lasso penalty and non-negative matrix
factorization to construct a sparse, non-linear latent representation. We
compare the path lasso regularized autoencoder to PCA, sparse PCA, autoencoders
and sparse autoencoders on real and simulated data sets. We show that the
algorithm exhibits much lower reconstruction errors than sparse PCA and
parameter-wise lasso regularized autoencoders for low-dimensional
representations. Moreover, path lasso representations provide a more accurate
reconstruction match, i.e. preserved relative distance between objects in the
original and reconstructed spaces.
- Abstract（参考訳）: 高次元データセットは、簡易な可視化と効率的な予測モデリングやクラスタリングを可能にする潜在低次元空間の構築を通じて、しばしば分析され、探求される。
複雑なデータ構造の場合、PCAのような線形次元削減技術は低次元表現を実現するのに十分な柔軟性がないかもしれない。
カーネルPCAやオートエンコーダのような非線形次元低減技術は、各潜伏変数が全ての入力次元に依存するため、解釈可能性を失う。
この制限に対処するため、ここではパスラッソペナルテッドオートエンコーダを紹介する。
この構造化正則化は、エンコーダを通る各パスを入力から潜在変数にペナライズすることで解釈性を高め、各潜在次元で表現される入力変数の数を制限する。
アルゴリズムは,群ラスソペナルティと非負行列分解を用いて,スパースで非線形な潜在表現を構築する。
我々はパスラッソ正規化オートエンコーダとpca,スパースpca,オートエンコーダ,スパースオートエンコーダを実データとシミュレーションデータで比較した。
このアルゴリズムは,低次元表現のためのスパースPCAやパラメータワイドラッソ正規化オートエンコーダよりもはるかに低い再構成誤差を示す。
さらに、パスラッソ表現はより正確な再構成マッチングを提供する。
元の空間と再建された空間の 物体間の相対距離を保存した
関連論文リスト
- Differentiable VQ-VAE's for Robust White Matter Streamline Encodings [33.936125620525]
オートエンコーダは、低次元ラテント空間における解析の合理性を簡素化する次元還元ツールとして提案されている。
本稿では,単一のデータポイントとしてストリームラインの全バンドルを取り込み,可変ベクトル量子化変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2023-11-10T17:59:43Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Convergent autoencoder approximation of low bending and low distortion
manifold embeddings [5.5711773076846365]
オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。
損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。
我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
論文 参考訳（メタデータ） (2022-08-22T10:31:31Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Empirical comparison between autoencoders and traditional dimensionality
reduction methods [1.9290392443571387]
Isomap, ディープオートエンコーダ, 可変オートエンコーダと比較し, PCAの性能を評価した。
実験の結果、k-NNはPCAで同等の精度を達成し、両方のオートエンコーダの投影で十分な寸法が得られた。
論文 参考訳（メタデータ） (2021-03-08T16:26:43Z) - Metalearning: Sparse Variable-Structure Automata [0.0]
本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。
アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
論文 参考訳（メタデータ） (2021-01-30T21:32:23Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。
トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
論文 参考訳（メタデータ） (2020-08-04T12:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。