論文の概要: Dimension reduction and the gradient flow of relative entropy
- arxiv url: http://arxiv.org/abs/2409.16963v1
- Date: Wed, 25 Sep 2024 14:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 03:25:18.526114
- Title: Dimension reduction and the gradient flow of relative entropy
- Title（参考訳）: 相対エントロピーの次元減少と勾配流
- Authors: Ben Weinkove,
- Abstract要約: 次元減少は科学で広く用いられ、高次元データを低次元空間にマッピングする。
本研究では,近傍埋め込み(SNE)技術の基礎となる基本的な数学的モデルと,その一般的な変種であるt-SNEについて検討する。
目的は、これらの点を最適な方法で低次元にマッピングし、類似点がより近いようにすることである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dimension reduction, widely used in science, maps high-dimensional data into low-dimensional space. We investigate a basic mathematical model underlying the techniques of stochastic neighborhood embedding (SNE) and its popular variant t-SNE. Distances between points in high dimensions are used to define a probability distribution on pairs of points, measuring how similar the points are. The aim is to map these points to low dimensions in an optimal way so that similar points are closer together. This is carried out by minimizing the relative entropy between two probability distributions. We consider the gradient flow of the relative entropy and analyze its long-time behavior. This is a self-contained mathematical problem about the behavior of a system of nonlinear ordinary differential equations. We find optimal bounds for the diameter of the evolving sets as time tends to infinity. In particular, the diameter may blow up for the t-SNE version, but remains bounded for SNE.
- Abstract（参考訳）: 次元減少は科学で広く用いられ、高次元データを低次元空間にマッピングする。
確率的近傍埋め込み(SNE)技術の基礎となる数学的モデルと,その一般的な変種であるt-SNEについて検討する。
高次元の点間の距離は、点の対の確率分布を定義し、その点がどれだけ類似しているかを測定するために用いられる。
目的は、これらの点を最適な方法で低次元にマッピングし、類似点がより近いようにすることである。
これは、2つの確率分布間の相対エントロピーを最小化する。
相対エントロピーの勾配流を考察し,その長期挙動を解析する。
これは非線形常微分方程式系の挙動に関する自己完備数学的問題である。
時間が無限大になる傾向があるため、進化する集合の直径の最適境界を求める。
特に、直径は t-SNE バージョンでは爆発するが、SNE ではなお制限されている。
関連論文リスト
- Learning Distances from Data with Normalizing Flows and Score Matching [9.605001452209867]
密度に基づく距離は、メートル法学習の問題に対するエレガントな解決策を提供する。
我々は,フェルマー距離を推定する既存の手法が,低次元と高次元の両方において収束不良に悩まされていることを示す。
我々の研究は、特に高次元空間における密度に基づく距離の実践的利用の道を開いた。
論文 参考訳（メタデータ） (2024-07-12T14:30:41Z) - Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities [0.5592394503914488]
本稿では、所定の基準測度$mu$の摂動として、目標測度$pi$を同定し、近似する手法を提案する。
我々の主な貢献は、多元対数ソボレフ不等式(LSI)と、このアンザッツとの近似との接続を明らかにすることである。
論文 参考訳（メタデータ） (2024-06-18T20:02:44Z) - A Normalized Bottleneck Distance on Persistence Diagrams and Homology Preservation under Dimension Reduction [0.0]
パーシステンスダイアグラム(PD)は、ポイントクラウドデータのシグネチャとして使用される。
PD間のボトルネック距離d_Bを用いて2つの点の雲を比較することができる。
我々は、PD間の新しいスケール不変距離を正規化ボトルネック距離d_Nと定義し、研究する。
論文 参考訳（メタデータ） (2023-06-11T17:17:48Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳（メタデータ） (2023-01-26T18:14:12Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳（メタデータ） (2022-07-11T08:50:19Z) - Compressive Fourier collocation methods for high-dimensional diffusion
equations with periodic boundary conditions [7.80387197350208]
高次元偏微分方程式(英: High-dimensional partial Differential Equations, PDE)は、ファイナンスから計算化学まで多岐にわたる数学モデリングツールである。
これらのPDEを解くための標準的な数値技術は、典型的には次元の呪いの影響を受けている。
高次元におけるスパース関数近似の最近の進歩に触発されて、圧縮フーリエコロケーションと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-02T19:11:27Z) - A Dimensionality Reduction Method for Finding Least Favorable Priors
with a Focus on Bregman Divergence [108.28566246421742]
そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。
この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
論文 参考訳（メタデータ） (2022-02-23T16:22:28Z) - Entropic Optimal Transport in Random Graphs [8.7314407902481]
グラフ解析において、古典的なタスクはノード間の(グループの)類似性の計算によって構成される。
潜在空間におけるノード群間の距離を連続的に推定することは可能であることを示す。
論文 参考訳（メタデータ） (2022-01-11T13:52:34Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-03T13:45:36Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳（メタデータ） (2020-12-09T20:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。