論文の概要: GiDR-DUN; Gradient Dimensionality Reduction -- Differences and Unification

• arxiv url: http://arxiv.org/abs/2206.09689v1
• Date: Mon, 20 Jun 2022 10:18:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:46:59.690281
• Title: GiDR-DUN; Gradient Dimensionality Reduction -- Differences and Unification
• Title（参考訳）: GiDR-DUN; Gradient dimensionality Reduction -- 差分と統一
• Authors: Andrew Draganov, Tyrus Berry, Jakob R{\o}dsgaard J{\o}rgensen, Katrine Scheel Nellemann, Ira Assent, Davide Mottin
• Abstract要約: UMAP の速度で TSNE を埋め込む方法が存在しないことを示す。 従来とは相容れない手法を組み合わせた新しい次元削減アルゴリズムGDRを提案する。
• 参考スコア（独自算出の注目度）: 6.747923018285821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: TSNE and UMAP are two of the most popular dimensionality reduction algorithms due to their speed and interpretable low-dimensional embeddings. However, while attempts have been made to improve on TSNE's computational complexity, no existing method can obtain TSNE embeddings at the speed of UMAP. In this work, we show that this is indeed possible by combining the two approaches into a single method. We theoretically and experimentally evaluate the full space of parameters in the TSNE and UMAP algorithms and observe that a single parameter, the normalization, is responsible for switching between them. This, in turn, implies that a majority of the algorithmic differences can be toggled without affecting the embeddings. We discuss the implications this has on several theoretic claims underpinning the UMAP framework, as well as how to reconcile them with existing TSNE interpretations. Based on our analysis, we propose a new dimensionality reduction algorithm, GDR, that combines previously incompatible techniques from TSNE and UMAP and can replicate the results of either algorithm by changing the normalization. As a further advantage, GDR performs the optimization faster than available UMAP methods and thus an order of magnitude faster than available TSNE methods. Our implementation is plug-and-play with the traditional UMAP and TSNE libraries and can be found at github.com/Andrew-Draganov/GiDR-DUN.
• Abstract（参考訳）: TSNEとUMAPは、その速度と解釈可能な低次元埋め込みのために最も一般的な次元削減アルゴリズムである。 しかし、TSNEの計算複雑性を改善する試みは試みられているが、既存の方法では UMAP の速度でTSNE を埋め込むことはできない。 本稿では,この2つのアプローチを1つのメソッドに組み合わせることで,これが実際に可能であることを示す。 TSNEアルゴリズムとUMAPアルゴリズムのパラメータの全体空間を理論的に実験的に評価し,パラメータの正規化(正規化)がそれらの切り替えの原因であることを示す。 これは、アルゴリズム上の差異の大部分を、埋め込みに影響を与えることなくトグルできることを意味する。 UMAPフレームワークの基盤となるいくつかの理論的主張と既存のTSNE解釈との整合性について論じる。 そこで本研究では,tsne と umap との相容れない手法を組み合わせることで,任意のアルゴリズムの結果を正規化によって再現できる新しい次元性低減アルゴリズム gdr を提案する。 さらなる利点として、GDR は利用可能な UMAP メソッドよりも高速に最適化を行うため、利用可能な TSNE メソッドよりも桁違いに高速である。 実装は従来の UMAP ライブラリと TSNE ライブラリとのプラグアンドプレイであり,github.com/Andrew-Draganov/GiDR-DUN で見ることができる。

関連論文リスト

• Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits [12.674929126684528]
  我々は、プレイヤーがPアクションの中から d 個の基本アイテムを含む集合のパワーセットから選択する半帯域の問題に対処する。 提案手法は半帯域フィードバックを効果的に活用し,帯域フィードバックアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T08:07:54Z)
• Convergent plug-and-play with proximal denoiser and unconstrained regularization parameter [12.006511319607473]
  本稿では,Plug-Play(PGD)アルゴリズムの収束性について述べる。 最近の研究は、証明(DRS)による収束を探求している。 まず、新しい収束証明を提供する。 正規化にいかなる制限も課さないDSS。 第2に、画像復元の精度を高めるPGDの緩和版について検討する。
  論文  参考訳（メタデータ） (2023-11-02T13:18:39Z)
• Relating tSNE and UMAP to Classical Dimensionality Reduction [0.7673339435080445]
  UMAP出力が与えられた場合、現在、対応する入力について何が言えるかは不明である。 現代のDRパラダイムでは,PCA,MDS,ISOMAPなどの手法を完全に回復できることが示されている。 また、小さな変更で局所埋め込み(LLE)がUDP出力を区別不能に再現できることも示している。
  論文  参考訳（メタデータ） (2023-06-20T21:19:57Z)
• ActUp: Analyzing and Consolidating tSNE and UMAP [6.368273182141137]
  tSNEとUMAPは、その速度と解釈可能な低次元埋め込みのため、一般的な次元削減アルゴリズムである。 我々は, tSNE と UMAP のパラメータ空間を調査し, 1 つのパラメータ – 正規化 – がそれらの切り替えに責任があることを観察する。 UMAPの背後にあるいくつかの理論的主張と既存のtSNE解釈との整合性について論じる。
  論文  参考訳（メタデータ） (2023-05-12T08:49:17Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness [0.0]
  非常に多くのスムーズで可能な非サイズの関数の平均を考慮し、この問題に対処するために2つの広く最小限のフレームワークを使用します。 IG/RRスキームの簡易制御による修正を定義する。 我々は、完全なバッチ勾配(L-BFGS)とIG/RR手法の実装の両方で実装を証明し、アルゴリズムが同様の計算作業を必要とすることを証明した。
  論文  参考訳（メタデータ） (2022-12-04T15:26:36Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
  一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。 前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。 本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:22:01Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。