論文の概要: UMAP does not reproduce high-dimensional similarities due to negative sampling

• arxiv url: http://arxiv.org/abs/2103.14608v1
• Date: Fri, 26 Mar 2021 17:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:54:57.647986
• Title: UMAP does not reproduce high-dimensional similarities due to negative sampling
• Title（参考訳）: UMAPは負サンプリングによる高次元類似性を再現しない
• Authors: Sebastian Damrich and Fred A. Hamprecht
• Abstract要約: UMAPは、多くの分野において高次元データセットを可視化するための最先端技術としてt-SNEに取って代わった。 UMAPの効果的な損失関数をクローズド形式で導出し、それが公開されたものと異なることを見つけます。 代わりに、共有kの近傍グラフのみをエンコードする類似性を再現しようとします。
• 参考スコア（独自算出の注目度）: 21.02967030862773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: UMAP has supplanted t-SNE as state-of-the-art for visualizing high-dimensional datasets in many disciplines, while the reason for its success is not well understood. In this work, we investigate UMAP's sampling based optimization scheme in detail. We derive UMAP's effective loss function in closed form and find that it differs from the published one. As a consequence, we show that UMAP does not aim to reproduce its theoretically motivated high-dimensional UMAP similarities. Instead, it tries to reproduce similarities that only encode the shared k nearest neighbor graph, thereby challenging the previous understanding of UMAP's effectiveness. Instead, we claim that the key to UMAP's success is its implicit balancing of attraction and repulsion resulting from negative sampling. This balancing in turn facilitates optimization via gradient descent. We corroborate our theoretical findings on toy and single cell RNA sequencing data.
• Abstract（参考訳）: UMAPは、多くの分野において高次元データセットを視覚化するための最先端技術としてt-SNEに取って代わったが、その成功の理由はよく理解されていない。 本研究では,UMAPのサンプリングに基づく最適化手法について詳細に検討する。 我々は、UMAPの有効損失関数を閉形式で導出し、それが公表されたものと異なることを見出す。 その結果, UMAP は理論上動機付けられた高次元 UMAP の類似性を再現することを目的としていないことがわかった。 代わりに、共有k近傍グラフのみをエンコードする類似性を再現しようとするため、以前のumapの有効性の理解に挑戦する。 代わりに、UMAPの成功の鍵は、負のサンプリングによって生じるアトラクションと反発の暗黙のバランスであると主張する。 このバランスは勾配降下による最適化を促進する。 玩具および単細胞RNAシークエンシングデータに関する理論的知見を裏付ける。

関連論文リスト

• Texture Re-scalable Universal Adversarial Perturbation [61.33178492209849]
  本稿では, 局所的なテクスチャをカテゴリー別で自動生成する, テクスチャスケールの制約付きUAPを提案する。 TSC-UAPは、データ依存UAP法とデータフリーUAP法の両方において、不正率と攻撃伝達性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-10T08:18:55Z)
• Unraveling the Impact of Heterophilic Structures on Graph Positive-Unlabeled Learning [71.9954600831939]
  実世界の多くのシナリオにおいて、肯定的無ラベル(PU)学習は不可欠であるが、そのグラフデータへの応用は未探索のままである。 グラフ上でのPU学習において重要な課題がエッジヘテロフィリーにあり、クラスプライア推定の既約性前提に直接違反していることを明らかにする。 この課題に対応するために,ラベル伝搬損失(GPL)を用いたグラフPU学習という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-05-30T10:30:44Z)
• Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
  深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である 本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。 グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
  論文  参考訳（メタデータ） (2023-08-11T08:44:58Z)
• Relating tSNE and UMAP to Classical Dimensionality Reduction [0.7673339435080445]
  UMAP出力が与えられた場合、現在、対応する入力について何が言えるかは不明である。 現代のDRパラダイムでは,PCA,MDS,ISOMAPなどの手法を完全に回復できることが示されている。 また、小さな変更で局所埋め込み(LLE)がUDP出力を区別不能に再現できることも示している。
  論文  参考訳（メタデータ） (2023-06-20T21:19:57Z)
• ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
  tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
  論文  参考訳（メタデータ） (2023-05-12T08:49:17Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• Contrastive learning unifies $t$-SNE and UMAP [0.0]
  隣接する埋め込みメソッド $t$-SNE と UMAP は、高次元データセットを視覚化するためのデファクトスタンダードである。 その結果,UMAPは$t$-SNE損失関数に適用された負のサンプリングであることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T20:50:54Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Uniform Manifold Approximation and Projection (UMAP) and its Variants: Tutorial and Survey [5.967999555890417]
  ユニフォーマルマニフォールド近似・投影(Uniform Manifold Approximation and Projection, UMAP)は、次元の減少とデータの可視化のための最先端の手法の1つである。 UMAPとその変種に関するチュートリアルおよび調査論文。
  論文  参考訳（メタデータ） (2021-08-25T00:45:01Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval [94.73459295405507]
  Smooth-APは、ディープネットワークのエンドツーエンドトレーニングを可能にする、プラグアンドプレイの客観的機能である。 我々はSmooth-APをStanford Online製品とVabyIDの標準ベンチマークに適用する。 Inaturalist for fine-fine category search, VGGFace2 and IJB-C for face search。
  論文  参考訳（メタデータ） (2020-07-23T17:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。