論文の概要: UMAP does not reproduce high-dimensional similarities due to negative
sampling
- arxiv url: http://arxiv.org/abs/2103.14608v1
- Date: Fri, 26 Mar 2021 17:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 12:54:57.647986
- Title: UMAP does not reproduce high-dimensional similarities due to negative
sampling
- Title(参考訳): UMAPは負サンプリングによる高次元類似性を再現しない
- Authors: Sebastian Damrich and Fred A. Hamprecht
- Abstract要約: UMAPは、多くの分野において高次元データセットを可視化するための最先端技術としてt-SNEに取って代わった。
UMAPの効果的な損失関数をクローズド形式で導出し、それが公開されたものと異なることを見つけます。
代わりに、共有kの近傍グラフのみをエンコードする類似性を再現しようとします。
- 参考スコア(独自算出の注目度): 21.02967030862773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: UMAP has supplanted t-SNE as state-of-the-art for visualizing
high-dimensional datasets in many disciplines, while the reason for its success
is not well understood. In this work, we investigate UMAP's sampling based
optimization scheme in detail. We derive UMAP's effective loss function in
closed form and find that it differs from the published one. As a consequence,
we show that UMAP does not aim to reproduce its theoretically motivated
high-dimensional UMAP similarities. Instead, it tries to reproduce similarities
that only encode the shared k nearest neighbor graph, thereby challenging the
previous understanding of UMAP's effectiveness. Instead, we claim that the key
to UMAP's success is its implicit balancing of attraction and repulsion
resulting from negative sampling. This balancing in turn facilitates
optimization via gradient descent. We corroborate our theoretical findings on
toy and single cell RNA sequencing data.
- Abstract(参考訳): UMAPは、多くの分野において高次元データセットを視覚化するための最先端技術としてt-SNEに取って代わったが、その成功の理由はよく理解されていない。
本研究では,UMAPのサンプリングに基づく最適化手法について詳細に検討する。
我々は、UMAPの有効損失関数を閉形式で導出し、それが公表されたものと異なることを見出す。
その結果, UMAP は理論上動機付けられた高次元 UMAP の類似性を再現することを目的としていないことがわかった。
代わりに、共有k近傍グラフのみをエンコードする類似性を再現しようとするため、以前のumapの有効性の理解に挑戦する。
代わりに、UMAPの成功の鍵は、負のサンプリングによって生じるアトラクションと反発の暗黙のバランスであると主張する。
このバランスは勾配降下による最適化を促進する。
玩具および単細胞RNAシークエンシングデータに関する理論的知見を裏付ける。
関連論文リスト
- Enhancing Generalization of Universal Adversarial Perturbation through
Gradient Aggregation [40.18851174642427]
深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である
本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。
グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。
SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
論文 参考訳(メタデータ) (2023-08-11T08:44:58Z) - ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。
我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。
UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
論文 参考訳(メタデータ) (2023-05-12T08:49:17Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the
Underlying Score Fokker-Planck Equation [72.19198763459448]
雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。
これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。
我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
論文 参考訳(メタデータ) (2022-10-09T16:27:25Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-25T12:33:31Z) - Contrastive learning unifies $t$-SNE and UMAP [0.0]
隣接する埋め込みメソッド $t$-SNE と UMAP は、高次元データセットを視覚化するためのデファクトスタンダードである。
その結果,UMAPは$t$-SNE損失関数に適用された負のサンプリングであることがわかった。
論文 参考訳(メタデータ) (2022-06-03T20:50:54Z) - Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。
実験結果から,これらの手法が直面する課題を分析した。
本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文 参考訳(メタデータ) (2022-03-23T07:33:37Z) - Uniform Manifold Approximation and Projection (UMAP) and its Variants:
Tutorial and Survey [5.967999555890417]
ユニフォーマルマニフォールド近似・投影(Uniform Manifold Approximation and Projection, UMAP)は、次元の減少とデータの可視化のための最先端の手法の1つである。
UMAPとその変種に関するチュートリアルおよび調査論文。
論文 参考訳(メタデータ) (2021-08-25T00:45:01Z) - Hard-label Manifolds: Unexpected Advantages of Query Efficiency for
Finding On-manifold Adversarial Examples [67.23103682776049]
画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。
最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。
雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
論文 参考訳(メタデータ) (2021-03-04T20:53:06Z) - Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval [94.73459295405507]
Smooth-APは、ディープネットワークのエンドツーエンドトレーニングを可能にする、プラグアンドプレイの客観的機能である。
我々はSmooth-APをStanford Online製品とVabyIDの標準ベンチマークに適用する。
Inaturalist for fine-fine category search, VGGFace2 and IJB-C for face search。
論文 参考訳(メタデータ) (2020-07-23T17:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。