論文の概要: ActUp: Analyzing and Consolidating tSNE and UMAP

• arxiv url: http://arxiv.org/abs/2305.07320v1
• Date: Fri, 12 May 2023 08:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:37:08.061599
• Title: ActUp: Analyzing and Consolidating tSNE and UMAP
• Title（参考訳）: ActUp: tSNE と UMAP の分析と統合
• Authors: Andrew Draganov, Jakob R{\o}dsgaard J{\o}rgensen, Katrine Scheel Nellemann, Davide Mottin, Ira Assent, Tyrus Berry, Cigdem Aslay
• Abstract要約: tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
• 参考スコア（独自算出の注目度）: 6.368273182141137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: tSNE and UMAP are popular dimensionality reduction algorithms due to their speed and interpretable low-dimensional embeddings. Despite their popularity, however, little work has been done to study their full span of differences. We theoretically and experimentally evaluate the space of parameters in both tSNE and UMAP and observe that a single one -- the normalization -- is responsible for switching between them. This, in turn, implies that a majority of the algorithmic differences can be toggled without affecting the embeddings. We discuss the implications this has on several theoretic claims behind UMAP, as well as how to reconcile them with existing tSNE interpretations. Based on our analysis, we provide a method (\ourmethod) that combines previously incompatible techniques from tSNE and UMAP and can replicate the results of either algorithm. This allows our method to incorporate further improvements, such as an acceleration that obtains either method's outputs faster than UMAP. We release improved versions of tSNE, UMAP, and \ourmethod that are fully plug-and-play with the traditional libraries at https://github.com/Andrew-Draganov/GiDR-DUN
• Abstract（参考訳）: tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 しかし、その人気にもかかわらず、その大きな違いを研究するための研究はほとんど行われていない。 tsne と umap のパラメータ空間を理論的に実験的に評価し、1つのパラメータ -- 正規化 -- がそれらの切り替えの責任を負っていることを観察する。 これは、アルゴリズム上の差異の大部分を、埋め込みに影響を与えることなくトグルできることを意味する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。 そこで本研究では,tsne と umap の従来と互換性のない手法を組み合わせた手法 (\ourmethod) を提案し,両アルゴリズムの結果を再現する手法を提案する。 これにより, いずれの手法の出力も, UMAPよりも高速に得られる加速度など, さらなる改善が図られる。 従来のライブラリと完全にプラグイン&プレイ可能な tSNE, UMAP, \ourmethod のバージョンを https://github.com/Andrew-Draganov/GiDR-DUN でリリースしています。

関連論文リスト

• Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration [31.50005609235654]
  本研究は,無訓練トークン還元研究の現況を再考する。 トークン還元を3つの異なる段階に分解する「フィルタ相関圧縮」パラダイムを提案する。 10のベンチマークでの実験結果から,本手法は最大82.4%のFLOP削減が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T18:53:51Z)
• Relating tSNE and UMAP to Classical Dimensionality Reduction [0.7673339435080445]
  UMAP出力が与えられた場合、現在、対応する入力について何が言えるかは不明である。 現代のDRパラダイムでは,PCA,MDS,ISOMAPなどの手法を完全に回復できることが示されている。 また、小さな変更で局所埋め込み(LLE)がUDP出力を区別不能に再現できることも示している。
  論文  参考訳（メタデータ） (2023-06-20T21:19:57Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• GiDR-DUN; Gradient Dimensionality Reduction -- Differences and Unification [6.747923018285821]
  UMAP の速度で TSNE を埋め込む方法が存在しないことを示す。 従来とは相容れない手法を組み合わせた新しい次元削減アルゴリズムGDRを提案する。
  論文  参考訳（メタデータ） (2022-06-20T10:18:58Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Constraint-Handling Techniques for Particle Swarm Optimization Algorithms [0.0]
  人口ベースの手法は、従来の方法よりもはるかに複雑な問題を含む、さまざまな問題に対処することができる。 本研究の目的は,アルゴリズムに汎用的な設定を組み込んだPSOに適したCHTを開発し,比較することである。
  論文  参考訳（メタデータ） (2021-01-25T01:49:10Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)
• Distributed Learning with Compressed Gradient Differences [18.390802215440992]
  大規模な機械学習モデルのトレーニングには、ボトルネックとなるモデル更新のコミュニケーションが必要である。 更新の圧縮(スペーシフィケーションや量子化など)に基づくいくつかの方法が最近提案されている。 本稿では,バッチ圧縮率の違いによってこの問題を解決する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2019-01-26T19:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。