論文の概要: Relating tSNE and UMAP to Classical Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2306.11898v2
• Date: Fri, 14 Jun 2024 13:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 20:03:08.337607
• Title: Relating tSNE and UMAP to Classical Dimensionality Reduction
• Title（参考訳）: 古典的次元化への tSNE と UMAP の対応
• Authors: Andrew Draganov, Simon Dohn,
• Abstract要約: UMAP出力が与えられた場合、現在、対応する入力について何が言えるかは不明である。 現代のDRパラダイムでは,PCA,MDS,ISOMAPなどの手法を完全に回復できることが示されている。 また、小さな変更で局所埋め込み(LLE)がUDP出力を区別不能に再現できることも示している。
• 参考スコア（独自算出の注目度）: 0.7673339435080445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has become standard to use gradient-based dimensionality reduction (DR) methods like tSNE and UMAP when explaining what AI models have learned. This makes sense: these methods are fast, robust, and have an uncanny ability to find semantic patterns in high-dimensional data without supervision. Despite this, gradient-based DR methods lack the most important quality that an explainability method should possess: themselves being explainable. That is, given a UMAP output, it is currently unclear what one can say about the corresponding input. We work towards closing this question by relating UMAP to classical DR techniques. Specifically, we show that one can fully recover methods like PCA, MDS, and ISOMAP in the modern DR paradigm: by applying attractions and repulsions onto a randomly initialized dataset. We also show that, with a small change, Locally Linear Embeddings (LLE) can indistinguishably reproduce UMAP outputs. This implies that the UMAP effective objective is minimized by this modified version of LLE (and vice versa). Given this, we discuss what must be true of UMAP emebddings and present avenues for future work.
• Abstract（参考訳）: AIモデルが何を学んだかを説明する際に、tSNEやUMAPのような勾配に基づく次元削減(DR)手法を使うのが標準になっている。 これらの手法は高速で堅牢であり、高次元データのセマンティックなパターンを監督なしで見つけることができる。 これにもかかわらず、勾配に基づくDR法は、説明可能性法が持つべき最も重要な品質を欠いている。 つまり、UMAP出力を考えると、現在、対応する入力について何と言うことができるのかは定かではない。 従来のDR技術に UMAP を関連づけることで,この問題を解決しようとしている。 具体的には,PCA,MDS,ISOMAPなどの手法を,ランダムに初期化したデータセットにアトラクションや反発を適用することで,最新のDRパラダイムで完全に復元可能であることを示す。 また,小さな変更で局所線形埋め込み(LLE)がUMAP出力を区別不能に再現できることも示している。 これは UMAP の有効目的が LLE の修正版によって最小化されることを意味する(逆もまた)。 このことから,UMAPエンベディングの真相と今後の研究への道筋について論じる。

関連論文リスト

• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
  tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
  論文  参考訳（メタデータ） (2023-05-12T08:49:17Z)
• Distilling Model Failures as Directions in Latent Space [87.30726685335098]
  本稿では,モデルの故障モードを自動的に抽出するスケーラブルな方法を提案する。 線形分類器を用いて一貫したエラーパターンを識別し、これらの障害モードを特徴空間内の方向として自然な表現を誘導する。 このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
  論文  参考訳（メタデータ） (2022-06-29T16:35:24Z)
• GiDR-DUN; Gradient Dimensionality Reduction -- Differences and Unification [6.747923018285821]
  UMAP の速度で TSNE を埋め込む方法が存在しないことを示す。 従来とは相容れない手法を組み合わせた新しい次元削減アルゴリズムGDRを提案する。
  論文  参考訳（メタデータ） (2022-06-20T10:18:58Z)
• Uniform Manifold Approximation and Projection (UMAP) and its Variants: Tutorial and Survey [5.967999555890417]
  ユニフォーマルマニフォールド近似・投影(Uniform Manifold Approximation and Projection, UMAP)は、次元の減少とデータの可視化のための最先端の手法の1つである。 UMAPとその変種に関するチュートリアルおよび調査論文。
  論文  参考訳（メタデータ） (2021-08-25T00:45:01Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• UMAP does not reproduce high-dimensional similarities due to negative sampling [21.02967030862773]
  UMAPは、多くの分野において高次元データセットを可視化するための最先端技術としてt-SNEに取って代わった。 UMAPの効果的な損失関数をクローズド形式で導出し、それが公開されたものと異なることを見つけます。 代わりに、共有kの近傍グラフのみをエンコードする類似性を再現しようとします。
  論文  参考訳（メタデータ） (2021-03-26T17:22:58Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。