論文の概要: GiDR-DUN; Gradient Dimensionality Reduction -- Differences and
Unification
- arxiv url: http://arxiv.org/abs/2206.09689v1
- Date: Mon, 20 Jun 2022 10:18:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:46:59.690281
- Title: GiDR-DUN; Gradient Dimensionality Reduction -- Differences and
Unification
- Title(参考訳): GiDR-DUN; Gradient dimensionality Reduction -- 差分と統一
- Authors: Andrew Draganov, Tyrus Berry, Jakob R{\o}dsgaard J{\o}rgensen, Katrine
Scheel Nellemann, Ira Assent, Davide Mottin
- Abstract要約: UMAP の速度で TSNE を埋め込む方法が存在しないことを示す。
従来とは相容れない手法を組み合わせた新しい次元削減アルゴリズムGDRを提案する。
- 参考スコア(独自算出の注目度): 6.747923018285821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: TSNE and UMAP are two of the most popular dimensionality reduction algorithms
due to their speed and interpretable low-dimensional embeddings. However, while
attempts have been made to improve on TSNE's computational complexity, no
existing method can obtain TSNE embeddings at the speed of UMAP. In this work,
we show that this is indeed possible by combining the two approaches into a
single method. We theoretically and experimentally evaluate the full space of
parameters in the TSNE and UMAP algorithms and observe that a single parameter,
the normalization, is responsible for switching between them. This, in turn,
implies that a majority of the algorithmic differences can be toggled without
affecting the embeddings. We discuss the implications this has on several
theoretic claims underpinning the UMAP framework, as well as how to reconcile
them with existing TSNE interpretations. Based on our analysis, we propose a
new dimensionality reduction algorithm, GDR, that combines previously
incompatible techniques from TSNE and UMAP and can replicate the results of
either algorithm by changing the normalization. As a further advantage, GDR
performs the optimization faster than available UMAP methods and thus an order
of magnitude faster than available TSNE methods. Our implementation is
plug-and-play with the traditional UMAP and TSNE libraries and can be found at
github.com/Andrew-Draganov/GiDR-DUN.
- Abstract(参考訳): TSNEとUMAPは、その速度と解釈可能な低次元埋め込みのために最も一般的な次元削減アルゴリズムである。
しかし、TSNEの計算複雑性を改善する試みは試みられているが、既存の方法では UMAP の速度でTSNE を埋め込むことはできない。
本稿では,この2つのアプローチを1つのメソッドに組み合わせることで,これが実際に可能であることを示す。
TSNEアルゴリズムとUMAPアルゴリズムのパラメータの全体空間を理論的に実験的に評価し,パラメータの正規化(正規化)がそれらの切り替えの原因であることを示す。
これは、アルゴリズム上の差異の大部分を、埋め込みに影響を与えることなくトグルできることを意味する。
UMAPフレームワークの基盤となるいくつかの理論的主張と既存のTSNE解釈との整合性について論じる。
そこで本研究では,tsne と umap との相容れない手法を組み合わせることで,任意のアルゴリズムの結果を正規化によって再現できる新しい次元性低減アルゴリズム gdr を提案する。
さらなる利点として、GDR は利用可能な UMAP メソッドよりも高速に最適化を行うため、利用可能な TSNE メソッドよりも桁違いに高速である。
実装は従来の UMAP ライブラリと TSNE ライブラリとのプラグアンドプレイであり,github.com/Andrew-Draganov/GiDR-DUN で見ることができる。
関連論文リスト
- Convergent plug-and-play with proximal denoiser and unconstrained
regularization parameter [12.006511319607473]
本稿では,Plug-Play(PGD)アルゴリズムの収束性について述べる。
最近の研究は、証明(DRS)による収束を探求している。
まず、新しい収束証明を提供する。
正規化にいかなる制限も課さないDSS。
第2に、画像復元の精度を高めるPGDの緩和版について検討する。
論文 参考訳(メタデータ) (2023-11-02T13:18:39Z) - ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。
我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。
UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
論文 参考訳(メタデータ) (2023-05-12T08:49:17Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳(メタデータ) (2023-02-03T03:19:14Z) - A relaxed proximal gradient descent algorithm for convergent
plug-and-play with proximal denoiser [6.2484576862659065]
本稿では,新しいコンバーゼントなPlug-and-fidelity Descent (Play)アルゴリズムを提案する。
このアルゴリズムは、より広い範囲の通常の凸化パラメータに収束し、画像のより正確な復元を可能にする。
論文 参考訳(メタデータ) (2023-01-31T16:11:47Z) - HE-PEx: Efficient Machine Learning under Homomorphic Encryption using
Pruning, Permutation and Expansion [4.209035833239216]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号化されたデータ上で計算を行う方法である。
そこで本研究では,待ち時間とメモリ要求を低減し,HHEにプルーニング手法の有効性をもたらす新しいプルーニング手法を提案する。
タイルテンソルと呼ばれる最近提案されたパッキング技術を用いて,重みを充填する完全連結層上での本手法の利点を実証する。
論文 参考訳(メタデータ) (2022-07-07T15:49:24Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳(メタデータ) (2021-06-08T15:54:44Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。
前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。
本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
論文 参考訳(メタデータ) (2020-08-17T13:22:01Z) - Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。
ラグランジアン分解に基づく新しい手法を提案する。
ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文 参考訳(メタデータ) (2020-02-24T17:55:10Z) - Replica Exchange for Non-Convex Optimization [4.421561004829125]
勾配降下(GD)は凸目的関数に対して急速に収束することが知られているが、局所的なミニマに閉じ込められることがある。
ランゲヴィン力学(LD)は状態空間を探索し、大域的な最小値を見つけることができるが、正確な推定を得るためには、LDは小さな離散化ステップサイズで実行し、弱い力を検証する必要がある。
本稿では,これら2つのアルゴリズムとその非スワッピング変種が,単純な交換機構によって協調可能であることを示す。
論文 参考訳(メタデータ) (2020-01-23T03:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。