論文の概要: A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks
- arxiv url: http://arxiv.org/abs/2103.06383v1
- Date: Wed, 10 Mar 2021 23:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-12 14:41:45.629681
- Title: A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks
- Title（参考訳）: ニューラルネットワークを用いた非線形次元低減のための局所類似性保存フレームワーク
- Authors: Xiang Wang, Xiaoyong Li, Junxing Zhu, Zichen Xu, Kaijun Ren, Weiming
Zhang, Xinwang Liu, Kui Yu
- Abstract要約: 本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 56.068488417457935
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-world data usually have high dimensionality and it is important to
mitigate the curse of dimensionality. High-dimensional data are usually in a
coherent structure and make the data in relatively small true degrees of
freedom. There are global and local dimensionality reduction methods to
alleviate the problem. Most of existing methods for local dimensionality
reduction obtain an embedding with the eigenvalue or singular value
decomposition, where the computational complexities are very high for a large
amount of data. Here we propose a novel local nonlinear approach named Vec2vec
for general purpose dimensionality reduction, which generalizes recent
advancements in embedding representation learning of words to dimensionality
reduction of matrices. It obtains the nonlinear embedding using a neural
network with only one hidden layer to reduce the computational complexity. To
train the neural network, we build the neighborhood similarity graph of a
matrix and define the context of data points by exploiting the random walk
properties. Experiments demenstrate that Vec2vec is more efficient than several
state-of-the-art local dimensionality reduction methods in a large number of
high-dimensional data. Extensive experiments of data classification and
clustering on eight real datasets show that Vec2vec is better than several
classical dimensionality reduction methods in the statistical hypothesis test,
and it is competitive with recently developed state-of-the-art UMAP.
- Abstract（参考訳）: 現実世界のデータは通常高い次元を持ち、次元の呪いを緩和することが重要である。
高次元のデータは通常、コヒーレントな構造であり、データの真の自由度は比較的小さい。
問題を緩和するグローバルおよびローカル次元の減少方法があります。
局所次元還元の既存の方法のほとんどは固有値または特異値分解との埋め込みを得るが、ここでは計算の複雑性は大量のデータに対して非常に高い。
本稿では、単語の埋め込み表現学習における最近の進歩を一般化し、行列の次元化を一般化する、Vec2vecという新しい局所非線形アプローチを提案する。
計算複雑性を低減するために、隠れた1つの層しか持たないニューラルネットワークを用いた非線形埋め込みを得る。
ニューラルネットワークをトレーニングするために,マトリクスの近傍類似度グラフを構築し,ランダムウォーク特性を利用してデータポイントのコンテキストを定義する。
vec2vecは多数の高次元データにおいて最先端の局所次元低減法よりも効率的である。
8つの実データセット上のデータ分類とクラスタリングの広範な実験は、統計仮説テストにおいて、Vec2vecがいくつかの古典的な次元還元方法よりも優れていることを示し、最近開発された最先端のUMAPと競合している。
関連論文リスト
- Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。
これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
論文 参考訳（メタデータ） (2024-02-03T19:00:19Z) - Relative intrinsic dimensionality is intrinsic to learning [49.5738281105287]
本稿では,データ分布の固有次元の概念を導入し,データの分離性特性を正確に把握する。
この本質的な次元に対して、上の親指の規則は法則となり、高本質的な次元は高度に分離可能なデータを保証する。
本稿では,2進分類問題における学習と一般化の確率について,上界と下界の両方に相対固有次元を与えることを示す。
論文 参考訳（メタデータ） (2023-10-10T10:41:45Z) - Linearly-scalable learning of smooth low-dimensional patterns with
permutation-aided entropic dimension reduction [0.0]
多くのデータサイエンス応用において、高次元データセットから適切に順序付けられた滑らかな低次元データパターンを抽出することが目的である。
本研究では, ユークリッドの滑らか度をパターン品質基準として選択する場合, これらの問題を数値的に効率的に解けることを示す。
論文 参考訳（メタデータ） (2023-06-17T08:03:24Z) - Besov Function Approximation and Binary Classification on
Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。
その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
論文 参考訳（メタデータ） (2021-09-07T02:58:11Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Modern Dimension Reduction [0.0]
このエレメントは、数百行のRコードとともに、現代的な教師なしの次元削減テクニックのスイートを提供する。
本稿では, 局所線形埋め込み, t分散隣接埋め込み, 均一な多様体近似と投影, 自己組織化マップ, ディープオートエンコーダなどの手法を応用した読者を紹介する。
論文 参考訳（メタデータ） (2021-03-11T14:54:33Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Kernel Two-Dimensional Ridge Regression for Subspace Clustering [45.651770340521786]
本稿では,2次元データに対する新しいサブスペースクラスタリング手法を提案する。
2Dデータを入力として直接使用するので、表現の学習はデータ固有の構造や関係から恩恵を受ける。
論文 参考訳（メタデータ） (2020-11-03T04:52:46Z) - Learning a Deep Part-based Representation by Preserving Data
Distribution [21.13421736154956]
教師なし次元減少は、高次元データ認識問題において一般的に用いられる技法の1つである。
本稿では,データ分布を保存することにより,深部部分に基づく表現を学習し,新しいアルゴリズムを分散保存ネットワーク埋め込みと呼ぶ。
実世界のデータセットにおける実験結果から,提案アルゴリズムはクラスタ精度とAMIの点で優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-17T12:49:36Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳（メタデータ） (2020-07-07T10:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。