Fugu-MT 論文翻訳(概要): Convergence analysis of t-SNE as a gradient flow for point cloud on a manifold

論文の概要: Convergence analysis of t-SNE as a gradient flow for point cloud on a manifold

arxiv url: http://arxiv.org/abs/2401.17675v1
Date: Wed, 31 Jan 2024 08:52:45 GMT
ステータス: 処理完了
システム内更新日: 2024-02-01 15:17:20.211401
Title: Convergence analysis of t-SNE as a gradient flow for point cloud on a manifold
Title（参考訳）: 多様体上の点雲の勾配流としてのt-SNEの収束解析
Authors: Seonghyeon Jeong, Hau-Tieng Wu
Abstract要約: t-SNEは、目標関数としてクルバック・リーブラーの発散を伴う勾配降下反復を用いる。 t-SNE によって生成される点が有界であることを示し、KL の発散の最小値の存在を証明した。
参考スコア（独自算出の注目度）: 8.503001932363704
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a theoretical foundation regarding the boundedness of the t-SNE algorithm. t-SNE employs gradient descent iteration with Kullback-Leibler (KL) divergence as the objective function, aiming to identify a set of points that closely resemble the original data points in a high-dimensional space, minimizing KL divergence. Investigating t-SNE properties such as perplexity and affinity under a weak convergence assumption on the sampled dataset, we examine the behavior of points generated by t-SNE under continuous gradient flow. Demonstrating that points generated by t-SNE remain bounded, we leverage this insight to establish the existence of a minimizer for KL divergence.
Abstract（参考訳）: t-SNEアルゴリズムの有界性に関する理論的基礎を示す。 t-SNE は、KL の発散を最小限に抑え、高次元空間の原点によく似た点の集合を同定することを目的として、KL の発散を目的関数として勾配降下反復を用いる。サンプルデータセット上の弱収束仮定下でのパープレキシティや親和性などのt-sne特性について検討し,連続勾配流れ下でt-sneが生成する点の挙動について検討した。 t-SNE によって生成される点が有界であることを証明し、この洞察を利用して KL の発散の最小値の存在を確立する。

関連論文リスト

On the renormalization group fixed point of the two-dimensional Ising model at criticality [77.34726150561087]
演算子-代数的再正規化(OAR)を用いた固定点の単純で明示的な解析記述が可能であることを示す。具体的には、固定点はスピンスピン相関関数によって特徴づけられる。
論文参考訳（メタデータ） (2023-04-06T16:57:28Z)
Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文参考訳（メタデータ） (2023-02-07T10:51:53Z)
Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
論文参考訳（メタデータ） (2022-08-03T14:08:52Z)
Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文参考訳（メタデータ） (2022-06-08T21:32:50Z)
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文参考訳（メタデータ） (2022-01-28T11:30:06Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data [1.9199742103141069]
t分布次元近傍埋め込み(t-SNE)の理論的基礎に関する研究勾配降下法に基づくt-SNE解析のための新しい理論的枠組みを提案する。一般的な理論は、クラスタ化されたデータを視覚化するためのt-SNEの高速収束率と優れた実証性能を説明します。
論文参考訳（メタデータ） (2021-05-16T22:43:20Z)
Asymptotic convergence rate of Dropout on shallow linear neural networks [0.0]
本研究では, 微小線形ニューラルネットワークに適用する場合に, ドロップアウトとドロップコネクションによって誘導される目的関数の収束度を解析する。我々は、勾配流の局所収束証明と、そのデータ、レート確率、NNの幅に依存する速度のバウンダリを得る。
論文参考訳（メタデータ） (2020-12-01T19:02:37Z)
Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs [18.53372294049107]
Push-SAGAはノードの有向ネットワークに対する有限一階法のための分散一階法である。我々はPush-SAGAが滑らかで凸な問題に対して線形収束を実現することを示す。
論文参考訳（メタデータ） (2020-08-13T18:52:17Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。