論文の概要: Unexplainable Explanations: Towards Interpreting tSNE and UMAP
Embeddings
- arxiv url: http://arxiv.org/abs/2306.11898v1
- Date: Tue, 20 Jun 2023 21:19:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 15:48:07.064937
- Title: Unexplainable Explanations: Towards Interpreting tSNE and UMAP
Embeddings
- Title(参考訳): 説明不能な説明: tSNE と UMAP 埋め込みの解釈に向けて
- Authors: Andrew Draganov and Simon Dohn
- Abstract要約: ランダムなデータセットにアトラクションや反発を印加することで,PCAの埋め込みを完全に回復できることを示す。
また、小さな変更で、LLE(Locally Linear Embeddings)がARDR埋め込みを再現できることも示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has become standard to explain neural network latent spaces with
attraction/repulsion dimensionality reduction (ARDR) methods like tSNE and
UMAP. This relies on the premise that structure in the 2D representation is
consistent with the structure in the model's latent space. However, this is an
unproven assumption -- we are unaware of any convergence guarantees for ARDR
algorithms. We work on closing this question by relating ARDR methods to
classical dimensionality reduction techniques. Specifically, we show that one
can fully recover a PCA embedding by applying attractions and repulsions onto a
randomly initialized dataset. We also show that, with a small change, Locally
Linear Embeddings (LLE) can reproduce ARDR embeddings. Finally, we formalize a
series of conjectures that, if true, would allow one to attribute structure in
the 2D embedding back to the input distribution.
- Abstract(参考訳): tSNE や UMAP のようなアトラクション/反発次元減少法 (ARDR) を用いてニューラルネットワーク潜在空間を説明するのが標準となっている。
これは、2次元表現の構造がモデルの潜在空間の構造と一致するという前提に依存している。
しかし、これは証明されていない仮定であり、ARDRアルゴリズムの収束保証を知らない。
我々は,ardr法を古典次元還元法に関連付けることで,この問題の解決に取り組んでいる。
具体的には,アトラクションと反発をランダムに初期化したデータセットに印加することで,PCAの埋め込みを完全に復元できることを示す。
また、小さな変更で、LLE(Locally Linear Embeddings)がARDR埋め込みを再現できることも示している。
最後に、もし真であれば、入力分布に埋め込まれた2次元構造を属性とすることができるという一連の予想を定式化する。
関連論文リスト
- Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-25T12:33:31Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳(メタデータ) (2022-07-06T21:40:59Z) - Implicit Bias of Projected Subgradient Method Gives Provable Robust
Recovery of Subspaces of Unknown Codimension [12.354076490479514]
本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。
プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。
特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
論文 参考訳(メタデータ) (2022-01-22T15:36:03Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳(メタデータ) (2021-06-28T14:58:14Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳(メタデータ) (2021-06-14T17:19:44Z) - Invertible Manifold Learning for Dimension Reduction [44.16432765844299]
次元減少(DR)は,重要情報の保存により高次元データの低次元表現を学習することを目的としている。
Inv-ML(invertible manifold learning)と呼ばれる新しい2段階DR法を提案し、理論的な情報損失のないDRと実用的なDRのギャップを埋める。
実験は、i-ML-Encと呼ばれる、inv-MLのニューラルネットワーク実装による7つのデータセットで実施される。
論文 参考訳(メタデータ) (2020-10-07T14:22:51Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳(メタデータ) (2020-09-23T09:33:24Z) - Dimension reduction in recurrent networks by canonicalization [8.071506311915396]
本稿では、半無限入力に対応するために、古典的な正準状態空間実現の概念を適用する。
いわゆる入力忘れ特性は、正準実現の存在と一意性(系同型まで)を保証する鍵仮説として同定される。
再生カーネルヒルベルト空間(RKHS)を用いた暗黙還元の概念を導入し、線形リードアウトを持つシステムでは、縮小された空間を計算せずに次元縮小を実現する。
論文 参考訳(メタデータ) (2020-07-23T17:12:37Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳(メタデータ) (2020-07-07T10:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。