論文の概要: Unexplainable Explanations: Towards Interpreting tSNE and UMAP Embeddings

• arxiv url: http://arxiv.org/abs/2306.11898v1
• Date: Tue, 20 Jun 2023 21:19:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 15:48:07.064937
• Title: Unexplainable Explanations: Towards Interpreting tSNE and UMAP Embeddings
• Title（参考訳）: 説明不能な説明: tSNE と UMAP 埋め込みの解釈に向けて
• Authors: Andrew Draganov and Simon Dohn
• Abstract要約: ランダムなデータセットにアトラクションや反発を印加することで,PCAの埋め込みを完全に回復できることを示す。 また、小さな変更で、LLE(Locally Linear Embeddings)がARDR埋め込みを再現できることも示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has become standard to explain neural network latent spaces with attraction/repulsion dimensionality reduction (ARDR) methods like tSNE and UMAP. This relies on the premise that structure in the 2D representation is consistent with the structure in the model's latent space. However, this is an unproven assumption -- we are unaware of any convergence guarantees for ARDR algorithms. We work on closing this question by relating ARDR methods to classical dimensionality reduction techniques. Specifically, we show that one can fully recover a PCA embedding by applying attractions and repulsions onto a randomly initialized dataset. We also show that, with a small change, Locally Linear Embeddings (LLE) can reproduce ARDR embeddings. Finally, we formalize a series of conjectures that, if true, would allow one to attribute structure in the 2D embedding back to the input distribution.
• Abstract（参考訳）: tSNE や UMAP のようなアトラクション/反発次元減少法 (ARDR) を用いてニューラルネットワーク潜在空間を説明するのが標準となっている。 これは、2次元表現の構造がモデルの潜在空間の構造と一致するという前提に依存している。 しかし、これは証明されていない仮定であり、ARDRアルゴリズムの収束保証を知らない。 我々は,ardr法を古典次元還元法に関連付けることで,この問題の解決に取り組んでいる。 具体的には,アトラクションと反発をランダムに初期化したデータセットに印加することで,PCAの埋め込みを完全に復元できることを示す。 また、小さな変更で、LLE(Locally Linear Embeddings)がARDR埋め込みを再現できることも示している。 最後に、もし真であれば、入力分布に埋め込まれた2次元構造を属性とすることができるという一連の予想を定式化する。

関連論文リスト

• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
  tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
  論文  参考訳（メタデータ） (2023-05-12T08:49:17Z)
• Distilling Model Failures as Directions in Latent Space [87.30726685335098]
  本稿では,モデルの故障モードを自動的に抽出するスケーラブルな方法を提案する。 線形分類器を用いて一貫したエラーパターンを識別し、これらの障害モードを特徴空間内の方向として自然な表現を誘導する。 このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
  論文  参考訳（メタデータ） (2022-06-29T16:35:24Z)
• GiDR-DUN; Gradient Dimensionality Reduction -- Differences and Unification [6.747923018285821]
  UMAP の速度で TSNE を埋め込む方法が存在しないことを示す。 従来とは相容れない手法を組み合わせた新しい次元削減アルゴリズムGDRを提案する。
  論文  参考訳（メタデータ） (2022-06-20T10:18:58Z)
• Uniform Manifold Approximation and Projection (UMAP) and its Variants: Tutorial and Survey [5.967999555890417]
  ユニフォーマルマニフォールド近似・投影(Uniform Manifold Approximation and Projection, UMAP)は、次元の減少とデータの可視化のための最先端の手法の1つである。 UMAPとその変種に関するチュートリアルおよび調査論文。
  論文  参考訳（メタデータ） (2021-08-25T00:45:01Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• UMAP does not reproduce high-dimensional similarities due to negative sampling [21.02967030862773]
  UMAPは、多くの分野において高次元データセットを可視化するための最先端技術としてt-SNEに取って代わった。 UMAPの効果的な損失関数をクローズド形式で導出し、それが公開されたものと異なることを見つけます。 代わりに、共有kの近傍グラフのみをエンコードする類似性を再現しようとします。
  論文  参考訳（メタデータ） (2021-03-26T17:22:58Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。