論文の概要: Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data

• arxiv url: http://arxiv.org/abs/2105.07536v2
• Date: Tue, 18 May 2021 01:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 11:13:22.658373
• Title: Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data
• Title（参考訳）: 高次元クラスタデータ可視化のためのt-SNEの理論基礎
• Authors: T. Tony Cai and Rong Ma
• Abstract要約: t分布次元近傍埋め込み(t-SNE)の理論的基礎に関する研究 勾配降下法に基づくt-SNE解析のための新しい理論的枠組みを提案する。 一般的な理論は、クラスタ化されたデータを視覚化するためのt-SNEの高速収束率と優れた実証性能を説明します。
• 参考スコア（独自算出の注目度）: 1.9199742103141069
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study investigates the theoretical foundations of t-distributed stochastic neighbor embedding (t-SNE), a popular nonlinear dimension reduction and data visualization method. A novel theoretical framework for the analysis of t-SNE based on the gradient descent approach is presented. For the early exaggeration stage of t-SNE, we show its asymptotic equivalence to a power iteration based on the underlying graph Laplacian, characterize its limiting behavior, and uncover its deep connection to Laplacian spectral clustering, and fundamental principles including early stopping as implicit regularization. The results explain the intrinsic mechanism and the empirical benefits of such a computational strategy. For the embedding stage of t-SNE, we characterize the kinematics of the low-dimensional map throughout the iterations, and identify an amplification phase, featuring the intercluster repulsion and the expansive behavior of the low-dimensional map. The general theory explains the fast convergence rate and the exceptional empirical performance of t-SNE for visualizing clustered data, brings forth the interpretations of the t-SNE output, and provides theoretical guidance for selecting tuning parameters in various applications.
• Abstract（参考訳）: 本研究では,一般的な非線形次元低減・データ可視化手法であるt-distributed stochastic neighbor embedded(t-sne)の理論的基礎について検討する。 勾配降下法に基づく t-SNE の解析のための新しい理論的枠組みを提案する。 t-SNEの初期の誇張段階において、基礎となるグラフであるラプラシアンに基づく電力反復に対する漸近的同値性を示し、その制限挙動を特徴づけ、ラプラシアンスペクトルクラスタリングとの深い関係、および暗黙の正則化として早期停止を含む基本原理を明らかにする。 結果は,このような計算戦略の固有機構と経験的利点を説明する。 t-SNEの埋め込み段階では, 繰り返しを通して低次元写像の運動特性を特徴づけ, クラスタ間反発と低次元写像の拡張挙動を特徴とする増幅位相を同定する。 一般的な理論では、クラスタ化されたデータを視覚化するためのt-SNEの高速収束率と例外的な経験的性能を説明し、t-SNE出力の解釈をもたらし、様々なアプリケーションでチューニングパラメータを選択するための理論的ガイダンスを提供する。

関連論文リスト

• Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks [12.001676605529626]
  グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
  論文  参考訳（メタデータ） (2024-07-01T13:35:53Z)
• On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method [59.52204415829695]
  テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。 本稿では,異なるTGLアルゴリズムの一般化能力について検討する。 一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T08:22:22Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Generalization Guarantee of Training Graph Convolutional Networks with Graph Topology Sampling [83.77955213766896]
  グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。 スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。 本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
  論文  参考訳（メタデータ） (2022-07-07T21:25:55Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)
• An Optimal Statistical and Computational Framework for Generalized Tensor Estimation [10.899518267165666]
  本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。 計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
  論文  参考訳（メタデータ） (2020-02-26T01:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。